정보를 고르는 법
01하나 — 한 편인가, 모아 본 것인가
가장 크게 갈리는 지점입니다. 연구 한 편에서 나온 결과와, 수십·수백 편을 모아 계산한 결과는 무게가 다릅니다.
이 서재에서 「317개 실험을 모아」, 「67편 가운데 90%에서」처럼 적는 것은 그래서입니다. 숫자가 적혀 있지 않은 「연구에 따르면」은 한 편일 가능성이 큽니다.
02둘 — 함께 나타난 것인가, 원인인가
가장 흔한 뒤집힘입니다. 「A인 사람에게 B가 많았다」는 「A 때문에 B가 생긴다」가 아닙니다.
이 서재의 글에도 그 예가 있습니다. 화면 시간과 잠의 관계를 살핀 검토에서 연구자들은 화면 때문에 못 잔 것인지, 못 자니까 화면을 본 것인지 가르지 못했다고 적었습니다. 좋은 연구일수록 이런 단서를 스스로 답니다.
03셋 — 누구에게서 나온 결과인가
생쥐에서 나온 결과인지 사람에게서 나온 것인지, 어른인지 아이인지, 몇 명인지를 봅니다.
이 서재의 「잠은 뇌가 하는 정리」에 실린 씻어 내기 연구는 생쥐에서 한 것입니다. 널리 인용되지만 사람에게 같은 방식으로 확인된 것은 아닙니다. 그런 것은 그렇다고 적어야 합니다.
04넷 — 뒤집힌 적이 있는가
한때 확실해 보였다가 다시 살펴보니 사라진 결과들이 있습니다. 「자고 나면 실력이 는다」가 그런 경우입니다.
연구 방법 자체를 두고 출판된 연구 결과의 상당수가 틀렸을 수 있다고 지적한 유명한 논문도 있습니다. 연구를 믿지 말라는 뜻이 아니라, 한 편의 결과를 결론으로 삼지 말라는 뜻입니다.
05다섯 — 파는 사람이 하는 말인가
무언가를 파는 곳에서 나온 설명은 한 번 더 걸러 읽습니다. 틀렸다는 뜻이 아니라, 고를 때 한쪽으로 기울 이유가 있다는 뜻입니다.
이 서재에서 제품 이야기를 하지 않기로 한 것도 같은 까닭입니다.
06여기까지 정리하면
- 한 편인지 모아 본 것인지 본다
- 함께 나타난 것과 원인을 가른다
- 누구에게서 나온 결과인지 본다 — 생쥐인지 사람인지, 몇 명인지
- 뒤집힌 적이 있는지 본다
- 파는 사람이 하는 말인지 본다
- Why most published research findings are false.
Ioannidis JP · PLoS Medicine 2005;2(8):e124
https://pubmed.ncbi.nlm.nih.gov/16060722/ - Screen time and sleep among school-aged children and adolescents: a systematic literature review.
Hale L, Guan S · Sleep Medicine Reviews 2015;21:50-8
https://pubmed.ncbi.nlm.nih.gov/25193149/ - Sleep and motor learning: Is there room for consolidation?
Pan SC, Rickard TC · Psychological Bulletin 2015;141(4):812-34
https://pubmed.ncbi.nlm.nih.gov/25822130/