Examining the Generalizability of Research Findings from Archival Data
A. Delios
,
E.G. Clemente
,
T. Wu
,
H. Tan
,
Y. Wang
,
M. Gordon
,
D. Viganola
,
Z. Chen
,
A. Dreber
,
M. Johannesson
,
T. Pfeiffer
,
E.L. Uhlmann
,
A.M.A. Al-Aziz
,
A.T. Abraham
,
J. Trojan
,
M. Adamkovic
,
E. Agadullina
,
J. Ahn
,
C. Akinci
,
H. Akkas
,
D. Albrecht
,
S. Alzahawi
,
M. Amaral-Baptista
,
R. Anand
,
K.F.U. Ang
,
F. Anseel
,
J.J.B.R. Aruta
,
M. Ashraf
,
B.J. Baker
,
X. Bao
,
E. Baskin
,
H. Bathula
,
C.W. Bauman
,
J. Bavolar
,
S. Bayraktar
,
S.E. Beckman
,
A.S. Benjamin
,
S.E.V. Brown
,
J. Buckley
,
R.E. Buitrago
,
J.L. Bution
,
N. Byrd
,
C. Carrera
,
E.M. Caruso
,
M. Chen
,
L. Chen
,
E.E. Cicerali
,
E.D. Cohen
,
M. Crede
,
J. Cummins
,
L. Dahlander
,
D.P. Daniels
,
L.L. Daskalo
,
I.G.J. Dawson
,
M.V. Day
,
E. Dietl
,
A. Domurat
,
J. Dsilva
,
C. Du Plessis
,
D.I. Dubrov
,
S. Edris
,
C.T. Elbaek
,
M.M. Elsherif
,
T.R. Evans
,
M.R. Fellenz
,
S. Fiedler
,
M. Firat
,
R. Freitag
,
R.A. Furrer
,
R. Gautam
,
D.K. Gautam
,
B. Gearin
,
S. Gerschewski
,
O. Ghasemi
,
Z. Ghasemi
,
A. Ghosh
,
C. Giani
,
M.H. Goldberg
,
M. Goswami
,
L. Graf-Vlachy
,
H. Rajeshwari
,
J.A. Griffith
,
D. Grigoryev
,
J. Gu
,
A.L. Hadida
,
A.C. Hafenbrack
,
S. Hafenbrädl
,
J.J. Hammersley
,
H. Han
,
J.L. Harman
,
A. Hartanto
,
A.P. Henkel
,
Y.-C. Ho
,
B.C. Holding
,
F. Holzmeister
,
A. Horobet
,
T.S.-T. Huang
,
Y. Huang
,
J.R. Huntsinger
,
K. Idzikowska
,
H. Imada
,
R. Imran
,
M.J. Ingels
,
B. Jaeger
,
S.M.J. Janssen
,
F. Jia
,
A. Jiménez
,
J.L. Jin
,
N. Johannes
,
D. Jolles
,
B. Jozefiakova
,
P. Kačmár
,
T. Kalandadze
,
K. Kalimeri
,
P. Kang
,
J. Kantorowicz
,
D. Karada
,
H. Karimi-Rouzbahani
,
D.M.H. Kee
,
L. Keller
,
H.A. Khan
,
M. Knutsson
,
O. Kombeiz
,
A. Korniychuk
,
M. Kowal
,
J. Leder
,
L.W. Liang
,
T. Liew
,
F. Lin
,
C. Liu
,
B. Liu
,
M.C. Longo
,
A. Lovakov
,
M.P. Low
,
G.J.M. Lucas
,
O. Lukason
,
A.L. Ly
,
Z. Ma
,
A. Mafael
,
S. Mahmoudkalayeh
,
D. Manheim
,
A. Marcus
,
M.S. Marsh
,
J.M. Martin
,
L.E. Martinez
,
M. Martinoli
,
M. Martončik
,
T.C. Masters-Waage
,
R. Mata
,
H. Mazloomi
,
R.J. Mccarthy
,
P. Millroth
,
M. Mishra
,
S. Mishra
,
A. Mohr
,
D. Moreau
,
A. Myer
,
A. Nadler
,
S. Nair
,
G. Nilsonne
,
P. Niszczota
,
A. O'Mahony
,
M. Oberhauser
,
T. Obloj
,
Mehmet A. Orhan
(1)
,
F. Oswald
,
T. Otterbring
,
P.E. Otto
,
I. Padrón-Hernández
,
A.J. Pan
,
M. Paruzel-Czachura
,
G. Pfuhl
,
A. Pirrone
,
S. Porcher
,
J. Protzko
,
S. Qi
,
R.-M. Rahal
,
Relax Md.S. Rahman
,
M.L. Reina
,
S. Rentala
,
Z. Riaz
,
I. Ropovik
,
L. Röseler
,
R.M. Ross
,
A. Rotella
,
L.H.O. Roth
,
T.J. Roulet
,
M.M. Rubin
,
A. Sammartino
,
J. Sanchez
,
A.D. Saville
,
M. Schaerer
,
J.E. Schleu
,
L. Schmallenbach
,
L. Schnabel
,
F.S. Spüntrup
,
B.M. Schumpe
,
T. Senanayake
,
R. Seri
,
F. Sheng
,
R.E. Snider
,
D. Song
,
V. Song
,
S.E. Starnawska
,
K.A. Stern
,
S.M. Stevens
,
E. Strømland
,
W. Su
,
H. Sun
,
K.P. Sweeney
,
R. Takamatsu
,
M. Terskova
,
K.S. Tey
,
W. Tierney
,
M.M. Todorova
,
D. Tolstoy
,
L. Torkkeli
,
J.M. Tybur
,
F.J. Valderrey
,
A.M. Vallina-Hernandez
,
R.P. Vasudevan
,
G.V. Rao
,
A. Vernet
,
T. Vissak
,
H. Voss
,
T. Wahle
,
J. Wai
,
L.E.T. Wakabayashi
,
J. Wang
,
P. Wang
,
Y. Wang
,
R.W. Warmenhoven
,
K. Wennberg
,
G. Wernicke
,
J.K. Woike
,
C.E. Wollbrant
,
G. Woodin
,
J.D. Wright
,
Q. Xia
,
Z. Xie
,
S. Yoon
,
W. Yuan
,
L. Yuan
,
M. Yucel
,
Z. Zheng
,
H. Zhou
,
C. Zogmaister
,
R. Zultan
,
Generalizability Tests Forecasting Collaboration
A. Delios
- Fonction : Auteur
E.G. Clemente
- Fonction : Auteur
T. Wu
- Fonction : Auteur
H. Tan
- Fonction : Auteur
Y. Wang
- Fonction : Auteur
M. Gordon
- Fonction : Auteur
D. Viganola
- Fonction : Auteur
Z. Chen
- Fonction : Auteur
A. Dreber
- Fonction : Auteur
M. Johannesson
- Fonction : Auteur
T. Pfeiffer
- Fonction : Auteur
E.L. Uhlmann
- Fonction : Auteur
A.M.A. Al-Aziz
- Fonction : Auteur
A.T. Abraham
- Fonction : Auteur
J. Trojan
- Fonction : Auteur
M. Adamkovic
- Fonction : Auteur
E. Agadullina
- Fonction : Auteur
J. Ahn
- Fonction : Auteur
C. Akinci
- Fonction : Auteur
H. Akkas
- Fonction : Auteur
D. Albrecht
- Fonction : Auteur
S. Alzahawi
- Fonction : Auteur
M. Amaral-Baptista
- Fonction : Auteur
R. Anand
- Fonction : Auteur
K.F.U. Ang
- Fonction : Auteur
F. Anseel
- Fonction : Auteur
J.J.B.R. Aruta
- Fonction : Auteur
M. Ashraf
- Fonction : Auteur
B.J. Baker
- Fonction : Auteur
X. Bao
- Fonction : Auteur
E. Baskin
- Fonction : Auteur
H. Bathula
- Fonction : Auteur
C.W. Bauman
- Fonction : Auteur
J. Bavolar
- Fonction : Auteur
S. Bayraktar
- Fonction : Auteur
S.E. Beckman
- Fonction : Auteur
A.S. Benjamin
- Fonction : Auteur
S.E.V. Brown
- Fonction : Auteur
J. Buckley
- Fonction : Auteur
R.E. Buitrago
- Fonction : Auteur
J.L. Bution
- Fonction : Auteur
N. Byrd
- Fonction : Auteur
C. Carrera
- Fonction : Auteur
E.M. Caruso
- Fonction : Auteur
M. Chen
- Fonction : Auteur
L. Chen
- Fonction : Auteur
E.E. Cicerali
- Fonction : Auteur
E.D. Cohen
- Fonction : Auteur
M. Crede
- Fonction : Auteur
J. Cummins
- Fonction : Auteur
L. Dahlander
- Fonction : Auteur
D.P. Daniels
- Fonction : Auteur
L.L. Daskalo
- Fonction : Auteur
I.G.J. Dawson
- Fonction : Auteur
M.V. Day
- Fonction : Auteur
E. Dietl
- Fonction : Auteur
A. Domurat
- Fonction : Auteur
J. Dsilva
- Fonction : Auteur
C. Du Plessis
- Fonction : Auteur
D.I. Dubrov
- Fonction : Auteur
S. Edris
- Fonction : Auteur
C.T. Elbaek
- Fonction : Auteur
M.M. Elsherif
- Fonction : Auteur
T.R. Evans
- Fonction : Auteur
M.R. Fellenz
- Fonction : Auteur
S. Fiedler
- Fonction : Auteur
M. Firat
- Fonction : Auteur
R. Freitag
- Fonction : Auteur
R.A. Furrer
- Fonction : Auteur
R. Gautam
- Fonction : Auteur
D.K. Gautam
- Fonction : Auteur
B. Gearin
- Fonction : Auteur
S. Gerschewski
- Fonction : Auteur
O. Ghasemi
- Fonction : Auteur
Z. Ghasemi
- Fonction : Auteur
A. Ghosh
- Fonction : Auteur
C. Giani
- Fonction : Auteur
M.H. Goldberg
- Fonction : Auteur
M. Goswami
- Fonction : Auteur
L. Graf-Vlachy
- Fonction : Auteur
H. Rajeshwari
- Fonction : Auteur
J.A. Griffith
- Fonction : Auteur
D. Grigoryev
- Fonction : Auteur
J. Gu
- Fonction : Auteur
A.L. Hadida
- Fonction : Auteur
A.C. Hafenbrack
- Fonction : Auteur
S. Hafenbrädl
- Fonction : Auteur
J.J. Hammersley
- Fonction : Auteur
H. Han
- Fonction : Auteur
J.L. Harman
- Fonction : Auteur
A. Hartanto
- Fonction : Auteur
A.P. Henkel
- Fonction : Auteur
Y.-C. Ho
- Fonction : Auteur
B.C. Holding
- Fonction : Auteur
F. Holzmeister
- Fonction : Auteur
A. Horobet
- Fonction : Auteur
T.S.-T. Huang
- Fonction : Auteur
Y. Huang
- Fonction : Auteur
J.R. Huntsinger
- Fonction : Auteur
K. Idzikowska
- Fonction : Auteur
H. Imada
- Fonction : Auteur
R. Imran
- Fonction : Auteur
M.J. Ingels
- Fonction : Auteur
B. Jaeger
- Fonction : Auteur
S.M.J. Janssen
- Fonction : Auteur
F. Jia
- Fonction : Auteur
A. Jiménez
- Fonction : Auteur
J.L. Jin
- Fonction : Auteur
N. Johannes
- Fonction : Auteur
D. Jolles
- Fonction : Auteur
B. Jozefiakova
- Fonction : Auteur
P. Kačmár
- Fonction : Auteur
T. Kalandadze
- Fonction : Auteur
K. Kalimeri
- Fonction : Auteur
P. Kang
- Fonction : Auteur
J. Kantorowicz
- Fonction : Auteur
D. Karada
- Fonction : Auteur
H. Karimi-Rouzbahani
- Fonction : Auteur
D.M.H. Kee
- Fonction : Auteur
L. Keller
- Fonction : Auteur
H.A. Khan
- Fonction : Auteur
M. Knutsson
- Fonction : Auteur
O. Kombeiz
- Fonction : Auteur
A. Korniychuk
- Fonction : Auteur
M. Kowal
- Fonction : Auteur
J. Leder
- Fonction : Auteur
L.W. Liang
- Fonction : Auteur
T. Liew
- Fonction : Auteur
F. Lin
- Fonction : Auteur
- PersonId : 939325
C. Liu
- Fonction : Auteur
B. Liu
- Fonction : Auteur
M.C. Longo
- Fonction : Auteur
A. Lovakov
- Fonction : Auteur
M.P. Low
- Fonction : Auteur
G.J.M. Lucas
- Fonction : Auteur
O. Lukason
- Fonction : Auteur
A.L. Ly
- Fonction : Auteur
Z. Ma
- Fonction : Auteur
A. Mafael
- Fonction : Auteur
S. Mahmoudkalayeh
- Fonction : Auteur
D. Manheim
- Fonction : Auteur
A. Marcus
- Fonction : Auteur
M.S. Marsh
- Fonction : Auteur
J.M. Martin
- Fonction : Auteur
L.E. Martinez
- Fonction : Auteur
M. Martinoli
- Fonction : Auteur
M. Martončik
- Fonction : Auteur
T.C. Masters-Waage
- Fonction : Auteur
R. Mata
- Fonction : Auteur
H. Mazloomi
- Fonction : Auteur
R.J. Mccarthy
- Fonction : Auteur
P. Millroth
- Fonction : Auteur
M. Mishra
- Fonction : Auteur
S. Mishra
- Fonction : Auteur
A. Mohr
- Fonction : Auteur
D. Moreau
- Fonction : Auteur
A. Myer
- Fonction : Auteur
A. Nadler
- Fonction : Auteur
S. Nair
- Fonction : Auteur
G. Nilsonne
- Fonction : Auteur
P. Niszczota
- Fonction : Auteur
A. O'Mahony
- Fonction : Auteur
M. Oberhauser
- Fonction : Auteur
T. Obloj
- Fonction : Auteur
F. Oswald
- Fonction : Auteur
T. Otterbring
- Fonction : Auteur
P.E. Otto
- Fonction : Auteur
I. Padrón-Hernández
- Fonction : Auteur
A.J. Pan
- Fonction : Auteur
M. Paruzel-Czachura
- Fonction : Auteur
G. Pfuhl
- Fonction : Auteur
A. Pirrone
- Fonction : Auteur
S. Porcher
- Fonction : Auteur
J. Protzko
- Fonction : Auteur
S. Qi
- Fonction : Auteur
R.-M. Rahal
- Fonction : Auteur
Relax Md.S. Rahman
- Fonction : Auteur
M.L. Reina
- Fonction : Auteur
S. Rentala
- Fonction : Auteur
Z. Riaz
- Fonction : Auteur
I. Ropovik
- Fonction : Auteur
L. Röseler
- Fonction : Auteur
R.M. Ross
- Fonction : Auteur
A. Rotella
- Fonction : Auteur
L.H.O. Roth
- Fonction : Auteur
T.J. Roulet
- Fonction : Auteur
M.M. Rubin
- Fonction : Auteur
A. Sammartino
- Fonction : Auteur
J. Sanchez
- Fonction : Auteur
A.D. Saville
- Fonction : Auteur
M. Schaerer
- Fonction : Auteur
J.E. Schleu
- Fonction : Auteur
L. Schmallenbach
- Fonction : Auteur
L. Schnabel
- Fonction : Auteur
F.S. Spüntrup
- Fonction : Auteur
B.M. Schumpe
- Fonction : Auteur
T. Senanayake
- Fonction : Auteur
R. Seri
- Fonction : Auteur
F. Sheng
- Fonction : Auteur
R.E. Snider
- Fonction : Auteur
D. Song
- Fonction : Auteur
V. Song
- Fonction : Auteur
S.E. Starnawska
- Fonction : Auteur
K.A. Stern
- Fonction : Auteur
S.M. Stevens
- Fonction : Auteur
E. Strømland
- Fonction : Auteur
W. Su
- Fonction : Auteur
H. Sun
- Fonction : Auteur
K.P. Sweeney
- Fonction : Auteur
R. Takamatsu
- Fonction : Auteur
M. Terskova
- Fonction : Auteur
K.S. Tey
- Fonction : Auteur
W. Tierney
- Fonction : Auteur
M.M. Todorova
- Fonction : Auteur
D. Tolstoy
- Fonction : Auteur
L. Torkkeli
- Fonction : Auteur
J.M. Tybur
- Fonction : Auteur
F.J. Valderrey
- Fonction : Auteur
A.M. Vallina-Hernandez
- Fonction : Auteur
R.P. Vasudevan
- Fonction : Auteur
G.V. Rao
- Fonction : Auteur
A. Vernet
- Fonction : Auteur
T. Vissak
- Fonction : Auteur
H. Voss
- Fonction : Auteur
T. Wahle
- Fonction : Auteur
J. Wai
- Fonction : Auteur
L.E.T. Wakabayashi
- Fonction : Auteur
J. Wang
- Fonction : Auteur
P. Wang
- Fonction : Auteur
Y. Wang
- Fonction : Auteur
R.W. Warmenhoven
- Fonction : Auteur
K. Wennberg
- Fonction : Auteur
G. Wernicke
- Fonction : Auteur
J.K. Woike
- Fonction : Auteur
C.E. Wollbrant
- Fonction : Auteur
G. Woodin
- Fonction : Auteur
J.D. Wright
- Fonction : Auteur
Q. Xia
- Fonction : Auteur
Z. Xie
- Fonction : Auteur
S. Yoon
- Fonction : Auteur
W. Yuan
- Fonction : Auteur
L. Yuan
- Fonction : Auteur
M. Yucel
- Fonction : Auteur
Z. Zheng
- Fonction : Auteur
H. Zhou
- Fonction : Auteur
C. Zogmaister
- Fonction : Auteur
R. Zultan
- Fonction : Auteur
Generalizability Tests Forecasting Collaboration
- Fonction : Auteur
Résumé
This initiative examined systematically the extent to which a large set of archival research findings generalizes across contexts. We repeated the key analyses for 29 original strategic management effects in the same context (direct reproduction) as well as in 52 novel time periods and geographies; 45% of the reproductions returned results matching the original reports together with 55% of tests in different spans of years and 40% of tests in novel geographies. Some original findings were associated with multiple new tests. Reproducibility was the best predictor of generalizability-for the findings that proved directly reproducible, 84% emerged in other available time periods and 57% emerged in other geographies. Overall, only limited empirical evidence emerged for context sensitivity. In a forecasting survey, independent scientists were able to anticipate which effects would find support in tests in new samples. \textcopyright 2022 National Academy of Sciences. All rights reserved.