Examining the Generalizability of Research Findings from Archival Data - Normandie Université
Article Dans Une Revue Proceedings of the National Academy of Sciences of the United States of America Année : 2022

Examining the Generalizability of Research Findings from Archival Data

A. Delios , E.G. Clemente , T. Wu , H. Tan , Y. Wang , M. Gordon , D. Viganola , Z. Chen , A. Dreber , M. Johannesson , T. Pfeiffer , E.L. Uhlmann , A.M.A. Al-Aziz , A.T. Abraham , J. Trojan , M. Adamkovic , E. Agadullina , J. Ahn , C. Akinci , H. Akkas , D. Albrecht , S. Alzahawi , M. Amaral-Baptista , R. Anand , K.F.U. Ang , F. Anseel , J.J.B.R. Aruta , M. Ashraf , B.J. Baker , X. Bao , E. Baskin , H. Bathula , C.W. Bauman , J. Bavolar , S. Bayraktar , S.E. Beckman , A.S. Benjamin , S.E.V. Brown , J. Buckley , R.E. Buitrago , J.L. Bution , N. Byrd , C. Carrera , E.M. Caruso , M. Chen , L. Chen , E.E. Cicerali , E.D. Cohen , M. Crede , J. Cummins , L. Dahlander , D.P. Daniels , L.L. Daskalo , I.G.J. Dawson , M.V. Day , E. Dietl , A. Domurat , J. Dsilva , C. Du Plessis , D.I. Dubrov , S. Edris , C.T. Elbaek , M.M. Elsherif , T.R. Evans , M.R. Fellenz , S. Fiedler , M. Firat , R. Freitag , R.A. Furrer , R. Gautam , D.K. Gautam , B. Gearin , S. Gerschewski , O. Ghasemi , Z. Ghasemi , A. Ghosh , C. Giani , M.H. Goldberg , M. Goswami , L. Graf-Vlachy , H. Rajeshwari , J.A. Griffith , D. Grigoryev , J. Gu , A.L. Hadida , A.C. Hafenbrack , S. Hafenbrädl , J.J. Hammersley , H. Han , J.L. Harman , A. Hartanto , A.P. Henkel , Y.-C. Ho , B.C. Holding , F. Holzmeister , A. Horobet , T.S.-T. Huang , Y. Huang , J.R. Huntsinger , K. Idzikowska , H. Imada , R. Imran , M.J. Ingels , B. Jaeger , S.M.J. Janssen , F. Jia , A. Jiménez , J.L. Jin , N. Johannes , D. Jolles , B. Jozefiakova , P. Kačmár , T. Kalandadze , K. Kalimeri , P. Kang , J. Kantorowicz , D. Karada , H. Karimi-Rouzbahani , D.M.H. Kee , L. Keller , H.A. Khan , M. Knutsson , O. Kombeiz , A. Korniychuk , M. Kowal , J. Leder , L.W. Liang , T. Liew , F. Lin , C. Liu , B. Liu , M.C. Longo , A. Lovakov , M.P. Low , G.J.M. Lucas , O. Lukason , A.L. Ly , Z. Ma , A. Mafael , S. Mahmoudkalayeh , D. Manheim , A. Marcus , M.S. Marsh , J.M. Martin , L.E. Martinez , M. Martinoli , M. Martončik , T.C. Masters-Waage , R. Mata , H. Mazloomi , R.J. Mccarthy , P. Millroth , M. Mishra , S. Mishra , A. Mohr , D. Moreau , A. Myer , A. Nadler , S. Nair , G. Nilsonne , P. Niszczota , A. O'Mahony , M. Oberhauser , T. Obloj , Mehmet A. Orhan (1) , F. Oswald , T. Otterbring , P.E. Otto , I. Padrón-Hernández , A.J. Pan , M. Paruzel-Czachura , G. Pfuhl , A. Pirrone , S. Porcher , J. Protzko , S. Qi , R.-M. Rahal , Relax Md.S. Rahman , M.L. Reina , S. Rentala , Z. Riaz , I. Ropovik , L. Röseler , R.M. Ross , A. Rotella , L.H.O. Roth , T.J. Roulet , M.M. Rubin , A. Sammartino , J. Sanchez , A.D. Saville , M. Schaerer , J.E. Schleu , L. Schmallenbach , L. Schnabel , F.S. Spüntrup , B.M. Schumpe , T. Senanayake , R. Seri , F. Sheng , R.E. Snider , D. Song , V. Song , S.E. Starnawska , K.A. Stern , S.M. Stevens , E. Strømland , W. Su , H. Sun , K.P. Sweeney , R. Takamatsu , M. Terskova , K.S. Tey , W. Tierney , M.M. Todorova , D. Tolstoy , L. Torkkeli , J.M. Tybur , F.J. Valderrey , A.M. Vallina-Hernandez , R.P. Vasudevan , G.V. Rao , A. Vernet , T. Vissak , H. Voss , T. Wahle , J. Wai , L.E.T. Wakabayashi , J. Wang , P. Wang , Y. Wang , R.W. Warmenhoven , K. Wennberg , G. Wernicke , J.K. Woike , C.E. Wollbrant , G. Woodin , J.D. Wright , Q. Xia , Z. Xie , S. Yoon , W. Yuan , L. Yuan , M. Yucel , Z. Zheng , H. Zhou , C. Zogmaister , R. Zultan , Generalizability Tests Forecasting Collaboration
A. Delios
  • Fonction : Auteur
E.G. Clemente
  • Fonction : Auteur
T. Wu
  • Fonction : Auteur
H. Tan
  • Fonction : Auteur
Y. Wang
  • Fonction : Auteur
M. Gordon
  • Fonction : Auteur
D. Viganola
  • Fonction : Auteur
Z. Chen
  • Fonction : Auteur
A. Dreber
  • Fonction : Auteur
M. Johannesson
  • Fonction : Auteur
T. Pfeiffer
  • Fonction : Auteur
E.L. Uhlmann
  • Fonction : Auteur
A.M.A. Al-Aziz
  • Fonction : Auteur
A.T. Abraham
  • Fonction : Auteur
J. Trojan
  • Fonction : Auteur
M. Adamkovic
  • Fonction : Auteur
E. Agadullina
  • Fonction : Auteur
J. Ahn
  • Fonction : Auteur
C. Akinci
  • Fonction : Auteur
H. Akkas
  • Fonction : Auteur
D. Albrecht
  • Fonction : Auteur
S. Alzahawi
  • Fonction : Auteur
M. Amaral-Baptista
  • Fonction : Auteur
R. Anand
  • Fonction : Auteur
K.F.U. Ang
  • Fonction : Auteur
F. Anseel
  • Fonction : Auteur
J.J.B.R. Aruta
  • Fonction : Auteur
M. Ashraf
  • Fonction : Auteur
B.J. Baker
  • Fonction : Auteur
X. Bao
  • Fonction : Auteur
E. Baskin
  • Fonction : Auteur
H. Bathula
  • Fonction : Auteur
C.W. Bauman
  • Fonction : Auteur
J. Bavolar
  • Fonction : Auteur
S. Bayraktar
  • Fonction : Auteur
S.E. Beckman
  • Fonction : Auteur
A.S. Benjamin
  • Fonction : Auteur
S.E.V. Brown
  • Fonction : Auteur
J. Buckley
  • Fonction : Auteur
R.E. Buitrago
  • Fonction : Auteur
J.L. Bution
  • Fonction : Auteur
N. Byrd
  • Fonction : Auteur
C. Carrera
  • Fonction : Auteur
E.M. Caruso
  • Fonction : Auteur
M. Chen
  • Fonction : Auteur
L. Chen
  • Fonction : Auteur
E.E. Cicerali
  • Fonction : Auteur
E.D. Cohen
  • Fonction : Auteur
M. Crede
  • Fonction : Auteur
J. Cummins
  • Fonction : Auteur
L. Dahlander
  • Fonction : Auteur
D.P. Daniels
  • Fonction : Auteur
L.L. Daskalo
  • Fonction : Auteur
I.G.J. Dawson
  • Fonction : Auteur
M.V. Day
  • Fonction : Auteur
E. Dietl
  • Fonction : Auteur
A. Domurat
  • Fonction : Auteur
J. Dsilva
  • Fonction : Auteur
C. Du Plessis
  • Fonction : Auteur
D.I. Dubrov
  • Fonction : Auteur
S. Edris
  • Fonction : Auteur
C.T. Elbaek
  • Fonction : Auteur
M.M. Elsherif
  • Fonction : Auteur
T.R. Evans
  • Fonction : Auteur
M.R. Fellenz
  • Fonction : Auteur
S. Fiedler
  • Fonction : Auteur
M. Firat
  • Fonction : Auteur
R. Freitag
  • Fonction : Auteur
R.A. Furrer
  • Fonction : Auteur
R. Gautam
  • Fonction : Auteur
D.K. Gautam
  • Fonction : Auteur
B. Gearin
  • Fonction : Auteur
S. Gerschewski
  • Fonction : Auteur
O. Ghasemi
  • Fonction : Auteur
Z. Ghasemi
  • Fonction : Auteur
A. Ghosh
  • Fonction : Auteur
C. Giani
  • Fonction : Auteur
M.H. Goldberg
  • Fonction : Auteur
M. Goswami
  • Fonction : Auteur
L. Graf-Vlachy
  • Fonction : Auteur
H. Rajeshwari
  • Fonction : Auteur
J.A. Griffith
  • Fonction : Auteur
D. Grigoryev
  • Fonction : Auteur
J. Gu
  • Fonction : Auteur
A.L. Hadida
  • Fonction : Auteur
A.C. Hafenbrack
  • Fonction : Auteur
S. Hafenbrädl
  • Fonction : Auteur
J.J. Hammersley
  • Fonction : Auteur
H. Han
  • Fonction : Auteur
J.L. Harman
  • Fonction : Auteur
A. Hartanto
  • Fonction : Auteur
A.P. Henkel
  • Fonction : Auteur
Y.-C. Ho
  • Fonction : Auteur
B.C. Holding
  • Fonction : Auteur
F. Holzmeister
  • Fonction : Auteur
A. Horobet
  • Fonction : Auteur
T.S.-T. Huang
  • Fonction : Auteur
Y. Huang
  • Fonction : Auteur
J.R. Huntsinger
  • Fonction : Auteur
K. Idzikowska
  • Fonction : Auteur
H. Imada
  • Fonction : Auteur
R. Imran
  • Fonction : Auteur
M.J. Ingels
  • Fonction : Auteur
B. Jaeger
  • Fonction : Auteur
S.M.J. Janssen
  • Fonction : Auteur
F. Jia
  • Fonction : Auteur
A. Jiménez
  • Fonction : Auteur
J.L. Jin
  • Fonction : Auteur
N. Johannes
  • Fonction : Auteur
D. Jolles
  • Fonction : Auteur
B. Jozefiakova
  • Fonction : Auteur
P. Kačmár
  • Fonction : Auteur
T. Kalandadze
  • Fonction : Auteur
K. Kalimeri
  • Fonction : Auteur
P. Kang
  • Fonction : Auteur
J. Kantorowicz
  • Fonction : Auteur
D. Karada
  • Fonction : Auteur
H. Karimi-Rouzbahani
  • Fonction : Auteur
D.M.H. Kee
  • Fonction : Auteur
L. Keller
  • Fonction : Auteur
H.A. Khan
  • Fonction : Auteur
M. Knutsson
  • Fonction : Auteur
O. Kombeiz
  • Fonction : Auteur
A. Korniychuk
  • Fonction : Auteur
M. Kowal
  • Fonction : Auteur
J. Leder
  • Fonction : Auteur
L.W. Liang
  • Fonction : Auteur
T. Liew
  • Fonction : Auteur
F. Lin
  • Fonction : Auteur
  • PersonId : 939325
C. Liu
  • Fonction : Auteur
B. Liu
  • Fonction : Auteur
M.C. Longo
  • Fonction : Auteur
A. Lovakov
  • Fonction : Auteur
M.P. Low
  • Fonction : Auteur
G.J.M. Lucas
  • Fonction : Auteur
O. Lukason
  • Fonction : Auteur
A.L. Ly
  • Fonction : Auteur
Z. Ma
  • Fonction : Auteur
A. Mafael
  • Fonction : Auteur
S. Mahmoudkalayeh
  • Fonction : Auteur
D. Manheim
  • Fonction : Auteur
A. Marcus
  • Fonction : Auteur
M.S. Marsh
  • Fonction : Auteur
J.M. Martin
  • Fonction : Auteur
L.E. Martinez
  • Fonction : Auteur
M. Martinoli
  • Fonction : Auteur
M. Martončik
  • Fonction : Auteur
T.C. Masters-Waage
  • Fonction : Auteur
R. Mata
  • Fonction : Auteur
H. Mazloomi
  • Fonction : Auteur
R.J. Mccarthy
  • Fonction : Auteur
P. Millroth
  • Fonction : Auteur
M. Mishra
  • Fonction : Auteur
S. Mishra
  • Fonction : Auteur
A. Mohr
  • Fonction : Auteur
D. Moreau
  • Fonction : Auteur
A. Myer
  • Fonction : Auteur
A. Nadler
  • Fonction : Auteur
S. Nair
  • Fonction : Auteur
G. Nilsonne
  • Fonction : Auteur
P. Niszczota
  • Fonction : Auteur
A. O'Mahony
  • Fonction : Auteur
M. Oberhauser
  • Fonction : Auteur
T. Obloj
  • Fonction : Auteur
F. Oswald
  • Fonction : Auteur
T. Otterbring
  • Fonction : Auteur
P.E. Otto
  • Fonction : Auteur
I. Padrón-Hernández
  • Fonction : Auteur
A.J. Pan
  • Fonction : Auteur
M. Paruzel-Czachura
  • Fonction : Auteur
G. Pfuhl
  • Fonction : Auteur
A. Pirrone
  • Fonction : Auteur
S. Porcher
  • Fonction : Auteur
J. Protzko
  • Fonction : Auteur
S. Qi
  • Fonction : Auteur
R.-M. Rahal
  • Fonction : Auteur
Relax Md.S. Rahman
  • Fonction : Auteur
M.L. Reina
  • Fonction : Auteur
S. Rentala
  • Fonction : Auteur
Z. Riaz
  • Fonction : Auteur
I. Ropovik
  • Fonction : Auteur
L. Röseler
  • Fonction : Auteur
R.M. Ross
  • Fonction : Auteur
A. Rotella
  • Fonction : Auteur
L.H.O. Roth
  • Fonction : Auteur
T.J. Roulet
  • Fonction : Auteur
M.M. Rubin
  • Fonction : Auteur
A. Sammartino
  • Fonction : Auteur
J. Sanchez
  • Fonction : Auteur
A.D. Saville
  • Fonction : Auteur
M. Schaerer
  • Fonction : Auteur
J.E. Schleu
  • Fonction : Auteur
L. Schmallenbach
  • Fonction : Auteur
L. Schnabel
  • Fonction : Auteur
F.S. Spüntrup
  • Fonction : Auteur
B.M. Schumpe
  • Fonction : Auteur
T. Senanayake
  • Fonction : Auteur
R. Seri
  • Fonction : Auteur
F. Sheng
  • Fonction : Auteur
R.E. Snider
  • Fonction : Auteur
D. Song
  • Fonction : Auteur
V. Song
  • Fonction : Auteur
S.E. Starnawska
  • Fonction : Auteur
K.A. Stern
  • Fonction : Auteur
S.M. Stevens
  • Fonction : Auteur
E. Strømland
  • Fonction : Auteur
W. Su
  • Fonction : Auteur
H. Sun
  • Fonction : Auteur
K.P. Sweeney
  • Fonction : Auteur
R. Takamatsu
  • Fonction : Auteur
M. Terskova
  • Fonction : Auteur
K.S. Tey
  • Fonction : Auteur
W. Tierney
  • Fonction : Auteur
M.M. Todorova
  • Fonction : Auteur
D. Tolstoy
  • Fonction : Auteur
L. Torkkeli
  • Fonction : Auteur
J.M. Tybur
  • Fonction : Auteur
F.J. Valderrey
  • Fonction : Auteur
A.M. Vallina-Hernandez
  • Fonction : Auteur
R.P. Vasudevan
  • Fonction : Auteur
G.V. Rao
  • Fonction : Auteur
A. Vernet
  • Fonction : Auteur
T. Vissak
  • Fonction : Auteur
H. Voss
  • Fonction : Auteur
T. Wahle
  • Fonction : Auteur
J. Wai
  • Fonction : Auteur
L.E.T. Wakabayashi
  • Fonction : Auteur
J. Wang
  • Fonction : Auteur
P. Wang
  • Fonction : Auteur
Y. Wang
  • Fonction : Auteur
R.W. Warmenhoven
  • Fonction : Auteur
K. Wennberg
  • Fonction : Auteur
G. Wernicke
  • Fonction : Auteur
J.K. Woike
  • Fonction : Auteur
C.E. Wollbrant
  • Fonction : Auteur
G. Woodin
  • Fonction : Auteur
J.D. Wright
  • Fonction : Auteur
Q. Xia
  • Fonction : Auteur
Z. Xie
  • Fonction : Auteur
S. Yoon
  • Fonction : Auteur
W. Yuan
  • Fonction : Auteur
L. Yuan
  • Fonction : Auteur
M. Yucel
  • Fonction : Auteur
Z. Zheng
  • Fonction : Auteur
H. Zhou
  • Fonction : Auteur
C. Zogmaister
  • Fonction : Auteur
R. Zultan
  • Fonction : Auteur

Résumé

This initiative examined systematically the extent to which a large set of archival research findings generalizes across contexts. We repeated the key analyses for 29 original strategic management effects in the same context (direct reproduction) as well as in 52 novel time periods and geographies; 45% of the reproductions returned results matching the original reports together with 55% of tests in different spans of years and 40% of tests in novel geographies. Some original findings were associated with multiple new tests. Reproducibility was the best predictor of generalizability-for the findings that proved directly reproducible, 84% emerged in other available time periods and 57% emerged in other geographies. Overall, only limited empirical evidence emerged for context sensitivity. In a forecasting survey, independent scientists were able to anticipate which effects would find support in tests in new samples. \textcopyright 2022 National Academy of Sciences. All rights reserved.

Dates et versions

hal-04452695 , version 1 (12-02-2024)

Identifiants

Citer

A. Delios, E.G. Clemente, T. Wu, H. Tan, Y. Wang, et al.. Examining the Generalizability of Research Findings from Archival Data. Proceedings of the National Academy of Sciences of the United States of America, 2022, 119 (30), ⟨10.1073/pnas.2120377119⟩. ⟨hal-04452695⟩
12 Consultations
0 Téléchargements

Altmetric

Partager

More