과학이 아닌 타당성이 코로나 팬데믹에 대한 대중 토론을 지배하다

“솔직히 말해서 나에 대한 공격은 나에 대한 공격입니다. 과학.” ~ 앤서니 파우치, 9년 2021월 XNUMX일(MSNBC).

터무니없다.

우선, 파우치 박사는 코로나19 팬데믹 내내 과학적 의문에 대해 정확하게 보고하지 않았습니다. 또 다른 한 가지는, 과학의 본질적인 변증법은 논쟁하고, 의문을 제기하고, 토론하는 것입니다. 토론이 없다면 과학은 선전에 불과합니다. 

그럼에도 불구하고, 누군가는 이렇게 물을 수 있습니다. 거의 3년 동안 국제 대중이 아니라 미국 대중에게 기술 자료를 제시하고, 사실은 그렇지 않은데도 그 문제가 "과학적"이라는 일반적인 이해를 얻는 것이 어떻게 가능했을까요? 저는 팬데믹 기간 동안 전통적인 미디어를 통해 대중에게 제공된 것은 대체로 그럴듯했지만 과학은 아니었고, 미국 대중과 국제 대중, 그리고 대부분의 의사와 과학자들 자신도 그 차이를 알 수 없다고 주장합니다. 그러나 그 차이는 근본적이고 심오합니다.

과학은 실험 가능한 경험적 결과를 갖는 이론, 가설로 시작합니다. 그럼에도 불구하고, 그러한 이론은 과학이 아닙니다. 동기를 부여 과학. 과학은 개인이 이론의 의미나 결과에 영향을 미치는 실험을 하거나 관찰을 할 때 발생합니다. 이러한 발견은 이론을 뒷받침하거나 반박하는 경향이 있으며, 그런 다음 새로운 관찰에 맞게 수정되거나 업데이트되거나 설득력 있는 증거가 자연을 설명하지 못한다는 것을 보여주면 폐기됩니다. 그런 다음 주기가 반복됩니다. 과학 이론을 확인하거나 반박하는 증거를 얻기 위해 경험적 또는 관찰적 작업을 수행하는 것입니다.

일반적으로 이론은 자연이 어떻게 작동하는지에 대한 구체적인 것을 설명하는 그럴듯한 진술인 경향이 있습니다. 그럴듯한 것은 보는 사람의 눈에 달려 있습니다. 기술적으로 지식이 있는 전문가에게 그럴듯한 것이 일반인에게는 그럴듯하지 않을 수 있기 때문입니다. 예를 들어 - 아마도 너무 단순화해서 말하면 - 니콜라우스 코페르니쿠스가 1543년에 자신의 이론을 발표하기 전에는 태양 중심설이 그럴듯하지 않았고, 요하네스 케플러가 티코 브라헤가 한 천문 측정이 코페르니쿠스의 원 궤도를 타원으로 정제할 것을 시사한다는 것과 그 타원을 따라 행성의 운동을 지배하는 수학적 규칙이 있는 듯하다는 것을 이해할 때까지 꽤 오랫동안 그럴듯하지 않았습니다. 그러나 그러한 수학적 규칙에 대한 이유는 비록 그것이 운동을 잘 설명하는 것이라 할지라도, 아이작 뉴턴이 1687년에 질량 사이에 보편적인 중력이 존재한다고 가정하고 중력의 크기를 지배하는 질량에 비례하고 역제곱 거리의 법칙을 가정하고 이 이론과 일치하고 이 이론을 뒷받침하는 수많은 정량적 현상을 관찰할 때까지 그럴듯하지 않았습니다.

오늘날 우리는 타원 태양 중심 태양계 궤도의 타당성에 대해 거의 생각하지 않습니다. 335년에 걸친 관측 자료가 그 이론과 매우 일치했기 때문입니다. 하지만 우리는 빛이 입자와 파동으로 동시에 이동하고, 관찰자로서 우리가 하는 일인 빛에 대한 측정이 입자 행동을 보는지 파동 행동을 보는지 결정하며, 입자나 파동 중 하나를 관찰하기로 선택할 수 있지만 동시에 둘 다 관찰할 수는 없다는 것을 타당성 있게 생각하는 데 주저할 수 있습니다. 자연은 반드시 타당하지 않습니다.

하지만 그럼에도 불구하고 그럴듯한 이론은 믿기 쉽고, 그것이 문제입니다. 그것이 우리가 코로나19 팬데믹으로 거의 XNUMX년 동안 먹은 것입니다. 사실, 우리는 훨씬 더 오랫동안 과학 대신 그럴듯함을 먹었습니다.

카고컬트 과학

마음으로 숟가락을 구부린다고 주장하거나, 확인 불가능하고 재현 불가능한 "초감각적 지각"을 연구한다고 주장하는 사기꾼들은 1960년대와 1970년대에 매우 인기가 있었습니다. "과학"이 무엇을 확립할 수 있는지에 대한 이상한 믿음은 물리학 노벨상 수상자 리처드 파인만이 1974년 캘텍 졸업식 연설(파인만, 1974)에서 그러한 비이성적인 믿음을 한탄할 정도로 수준에 도달했습니다. 그의 연설은 일반 대중을 대상으로 한 것이 아니라, 많은 사람이 학계 과학자가 될 운명이었던 캘텍 졸업생을 대상으로 한 것이었습니다.

파인만은 연설에서 남해 섬 주민들이 2차 세계 대전 이후 전쟁 중에 그곳에 주둔하여 보급품의 비행기 착륙을 안내했던 미군을 어떻게 흉내냈는지 설명했습니다. 섬 주민들은 지역 재료를 사용하여 그들이 목격한 미군 병사들의 모습과 행동을 재현했지만 보급품은 오지 않았습니다.

우리의 맥락에서 파인만의 요점은 이론이 객관적인 경험적 증거를 갖기 전까지는 그것을 받아들이는 모든 사람에게 아무리 그럴듯하게 보이더라도 이론으로만 남는다는 것입니다. 섬 주민들은 공급 시스템이 어떻게 작동하는지 이해하지 못했다는 중요한 사실을 놓쳤습니다. 그들이 그것을 재현하는 것이 얼마나 그럴듯하게 보였는지요. 파인만은 캘텍 졸업생들에게 그럴듯함과 과학의 차이에 대해 경고할 의무감을 느꼈고, 이 차이가 연구소 교육에서 적절하게 학습되지 않았다고 암시했습니다. 이 저자가 그 해에 학부생이었을 때는 명확하게 가르치지 않았지만, 어떻게 된 일인지 우리는 "삼투 작용을 통해" 배웠을 것으로 기대했습니다.

증거 기반 의학

오늘날 "보다 더 큰 그럴듯한 거짓말은 없을 것입니다.증거 기반 의학”(EBM). 이 용어는 고든 가이엇이 1990년에 처음 시도한 "과학적 의학"이 전년에 수용되지 못한 후 만들어냈습니다. 1991년 대학 역학자였던 저는 이 용어 EBM을 사용하는 데 있어서 오만함과 무지함에 모욕을 느꼈습니다. 마치 의학적 증거가 새로운 증거 규칙을 가진 새로운 분야로 선언될 때까지 어떻게든 "비과학적"인 것처럼 말입니다. EBM에 대한 비판을 한 사람은 저 혼자만은 아니었습니다(Sackett et al., 1996). 하지만 그 부정적인 반응의 대부분은 "EBM" 없이 의학 연구가 실제로 무엇을 성취했는지에 대한 객관적인 검토보다는 서사적 통제의 상실에 근거한 것으로 보입니다.

서양 의학 지식은 수천 년 동안 축적되어 왔습니다. 히브리어 성경(출애굽기 21:19)에서 "두 당사자가 다투다가 한 사람이 다른 사람을 때리면 … 피해자는 완전히 치유될 것이다" [내 번역]는 의학 지식을 가진 개인이 존재했고 어느 정도의 효능이 내재되어 있음을 의미합니다. 기원전 XNUMX~XNUMX세기에 히포크라테스는 질병 발병이 무작위가 아니라 환경 노출이나 특정 행동과 관련이 있을 수 있다고 제안했습니다. 그 시대에는 오늘날 우리가 좋은 의료 행위에 대한 반례로 간주할 만한 것이 많이 있었습니다. 그럼에도 불구하고 의학 지식에 대한 합리적 증거에 대해 생각하는 것은 시작이었습니다.

제임스 린드(1716-1794)는 감귤류를 섭취하여 괴혈병을 예방할 것을 주장했습니다. 이 치료법은 고대인들에게 알려져 있었고, 특히 영국의 군의관 존 우달(1570-1643)이 이전에 권장했지만 우달은 무시당했습니다. 린드는 1747년에 12명의 괴혈병 환자를 대상으로 오렌지와 레몬을 다른 물질과 비교한 소규모이지만 성공적인 무작위 대조 시험을 실시했기 때문에 공로를 인정받았습니다.

1800년대에 Edward Jenner가 소의 천연두를 천연두 백신으로 사용한 것은 다른 동물에서 배양하여 발전시켜 발병 시 일반적으로 사용하게 되었으며, 1905년 대법원 판결 당시에는 제이콥슨 대 매사추세츠, 대법원장은 천연두 예방 접종이 의료 당국에서 일반적으로 받아들여지는 시술로 합의되었다고 주장할 수 있었습니다. 의학 저널도 1800년대에 정기적으로 출판되기 시작했습니다. 예를 들어, 랜싯 1824년에 출판을 시작했습니다. 의학 지식이 늘어나면서 보다 일반적이고 광범위하게 공유되고 논의되기 시작했습니다.

1900년대로 빨리 넘어가보자. 1914-15년에 조셉 골드버거(1915)는 펠라그라가 식이성 니아신의 부족으로 인해 발생한다는 결론을 내린 무작위화되지 않은 식이 개입 시험을 수행했다. 1920년대에 디프테리아, 백일해, 결핵 및 파상풍에 대한 백신이 개발되었다. 인슐린이 추출되었다. 구루병을 예방하는 비타민 D를 포함한 비타민이 개발되었다. 1930년대에 항생제가 만들어지고 효과적으로 사용되기 시작했다. 1940년대에 아세트아미노펜이 개발되었고 화학 요법도 개발되었으며, 결합 에스트로겐이 폐경기 핫플래시 치료에 사용되기 시작했다. 효과적인 새로운 약물, 백신 및 의료 기기는 1950년대와 1960년대에 기하급수적으로 증가했다. 모두 EBM 없이 말이다.

1996년, EBM에 대한 비판에 대응하여 David Sackett 등(1996)은 EBM의 전반적인 원리를 설명하려고 시도했습니다. Sackett은 EBM이 "좋은 의사는 개인의 임상적 전문성과 최상의 외부 증거를 모두 사용합니다."에서 따왔다고 주장했습니다. 이는 무해한 타당성 함축이지만 두 구성 요소 모두 기본적으로 잘못되었거나 적어도 오해의 소지가 있습니다. Sackett은 이 정의를 개별 의사가 해야 할 일의 관점에서 표현함으로써 개별 진료의가 자신의 임상적 관찰과 경험을 사용해야 한다는 것을 암시했습니다. 그러나 한 개인의 임상 경험에 대한 일반적인 증거적 대표성은 약할 가능성이 높습니다. 다른 형태의 증거와 마찬가지로 임상적 증거는 임상적 추론의 종합을 형성하기 위해 체계적으로 수집, 검토 및 분석되어야 하며, 이는 과학적 의학적 증거의 임상적 구성 요소를 제공할 것입니다.

증거 추론의 더 큰 실패는 Sackett이 "가능한 최상의 외부 증거"를 사용해야 한다고 말한 것입니다. 모든 유효한 외부 증거. "최상의" 증거를 구성하는 것에 대한 판단은 매우 주관적이며 반드시 정량적으로 가장 정확하고 정밀한 전반적인 결과를 산출하지 않습니다(Hartling et al., 2013; Bae, 2016). 오스틴 브래드포드 힐 경(1965)은 증거적 인과 추론의 현재 정식화된 "측면"을 공식화하면서 "최상의" 증거를 구성하는 측면을 포함하지 않았고, 연구를 "연구의 질"에 대해 측정하거나 분류해야 한다고 제안하지도 않았고, 어떤 유형의 연구 설계가 다른 연구 설계보다 본질적으로 더 나을 수 있다고 제안하지도 않았습니다. 과학적 증거에 대한 참고 매뉴얼, Margaret Berger(2011)는 "... 가장 존경받고 명망 있는 과학 기관(예: 국제 암 연구 기관(IARC), 의학 연구소, 국립 연구 위원회, 국립 환경 건강 과학 연구소)은 관련된 모든 과학적 증거를 전체적으로 고려하여 인과 주장에 대한 어떤 결론이나 가설이 증거 집합에서 가장 잘 뒷받침되는지 판단합니다."라고 명시적으로 언급했습니다. 이는 바로 Hill의 접근 방식입니다. 그의 인과 추론 측면은 과학과 법학 모두에서 관찰에서 인과 관계로 추론하는 데 50년 이상 매우 널리 사용되었습니다. EBM이 "최고의" 증거를 주관적으로 골라내는 것을 전제로 한다는 것은 그럴듯한 방법이지만 과학적인 방법은 아닙니다.

시간이 지나면서 "최상의" 증거를 선택적으로 고려하는 EBM 접근 방식은 "단순화"된 것으로 보입니다. 먼저 모든 연구 설계의 피라미드 꼭대기에 무작위 대조 시험(RCT)을 가정된 "골드 스탠다드" 설계로 배치하고, 나중에는 효과에 대한 편향 없는 추정치를 얻을 수 있는 유일한 연구 유형으로 주장했습니다. 다른 모든 형태의 경험적 증거는 "잠재적으로 편향되어" 신뢰할 수 없습니다. 이는 아래에서 보여드릴 것처럼 타당성 허세입니다.

하지만 그럴 가능성이 너무 커서 현대 의학 교육에서 일상적으로 가르치고, 대부분의 의사는 RCT 증거만 고려하고 다른 모든 형태의 경험적 증거는 무시합니다. 그럴 가능성이 너무 커서 이 저자는 의학적으로 교육받지 않은 텔레비전 해설자와 방송에서 구두 논쟁을 벌였는데, 해설자는 그럴 가능성 외에는 증거를 제시하지 않았습니다(Whelan, 2020): 피험자를 무작위로 추출하면 모든 차이가 치료에 의해 발생해야 하며 다른 유형의 연구는 신뢰할 수 없다는 것은 "당연하지 않은가"? 당연하다, 그렇다; 그렇지 않다.

RCT 증거에 대한 단독, 강박적인 집중으로부터 누가 이익을 얻습니까? RCT는 역학적으로 타당하고 통계적으로 적절하려면 수행하는 데 매우 비쌉니다. 수백만 달러 또는 수천만 달러의 비용이 들 수 있으며, 이는 비용보다 상당히 큰 이익을 가져올 가능성이 있는 의료 제품을 홍보하는 회사에 대한 호소력을 크게 제한합니다. 역사적으로, 규제 과정에서 RCT 증거에 대한 제약 통제 및 조작은 제품을 규제 승인을 거쳐 시장에 출시하는 능력에 엄청난 도움을 주었으며, 이를 수행하려는 동기는 오늘날에도 여전히 지속되고 있습니다.

이 문제는 1997년에 제정된 2000년 식품의약국 현대화법(FDAMA)을 통과시킨 의회에서 인식되었습니다. ClinicalTrials.gov 웹사이트는 중증 또는 생명을 위협하는 질환을 앓고 있는 환자를 대상으로 실험 약물의 효과를 조사하기 위해 수행된 모든 임상 시험을 등록하는 데 사용됩니다(National Library of Medicine, 2021). 임상 시험에서 이해 상충과 관련된 이유로, 2019-2009년 동안 제약 회사가 의사에게 지불한 금액을 다루는 ProPublica "Dollars for Docs" 웹사이트(Tigas et al., 2018)와 2022-2013년 동안의 지불 금액을 다루는 OpenPayments 웹사이트(Centers for Medicare & Medicaid Services, 2021)가 구축되어 공개적으로 검색 가능하게 되었습니다. 이러한 정보 시스템은 무작위 추출이 자동으로 연구 결과를 정확하고 편향되지 않게 만든다는 "타당성"이 연구 사기와 부적절한 조사자의 이해 상충 동기에 대처하기에 충분하지 않다고 인식되었기 때문에 만들어졌습니다.

의학 연구 부패를 개혁하거나 제한하려는 이러한 시도가 도움이 되었지만 EBM이라는 명목으로 증거를 잘못 표현하는 일은 여전히 ​​계속되고 있습니다. 최악의 사례 중 하나는 의학의 뉴 잉글랜드 저널 13년 2020월 19일, 코로나2020 팬데믹이 시작될 무렵, 제약 회사와 상당한 인연이 있는 2020명의 유명한 영국 의학 통계학자가 쓴 "무작위화의 마법 대 실제 세계 증거의 신화"라는 제목의 글입니다(Collins et al., XNUMX). 이 글은 대부분 사람들이 팬데믹이 다가온다는 사실을 알기 전인 XNUMX년 XNUMX월에 쓰여졌을 가능성이 큽니다. 이 논문은 무작위화가 자동으로 강력한 연구를 만들어내고, 무작위화되지 않은 모든 연구는 증거적 쓰레기라고 주장합니다. 이 글을 읽을 당시 저는 그것이 제 전공인 역학에 대한 비난이라고 느꼈습니다. 저는 즉시 기분이 상했지만, 나중에 저자들의 심각한 이해 상충을 이해했습니다. 매우 저렴한 RCT 증거만이 규제 승인에 적합하다고 주장하는 것은 제약 회사가 효과적이고 저렴한 오프라벨 승인 제네릭 의약품으로 경쟁에서 값비싸고 수익성이 높은 특허 제품을 보호할 수 있는 도구를 제공하는 것입니다. 이러한 의약품의 제조업체는 대규모 RCT를 감당할 수 없습니다.

무작위

그렇다면, 제가 암시해 온 무작위화의 결함은 무엇이며, RCT 연구와 다른 연구 설계의 상대적 타당성을 이해하기 위해 더 심층적인 조사가 필요한 것은 무엇일까요? 문제는 다음을 이해하는 데 있습니다. 혼란스럽게하는. 교란은 노출과 결과 간의 관계가 노출 때문이 아니라 적어도 부분적으로는 세 번째 요인(교란 요인) 때문인 역학적 상황입니다. 교란 요인은 어떻게든 노출과 관련이 있지만 노출의 결과는 아닙니다.

이런 경우, 겉보기에 노출-결과 관계는 실제로 교란 요인-결과 관계 때문입니다. 예를 들어, 알코올 소비와 암 위험에 대한 연구는 알코올 사용과 상관관계가 있는 흡연력에 의해 교란될 가능성이 있지만(그리고 알코올 사용으로 인해 발생하지 않음) 실제로 암 위험 증가를 유발합니다. 흡연을 무시하고 알코올과 암 위험에 대한 간단한 분석은 관계를 보여줍니다. 그러나 흡연의 효과가 통제되거나 조정되면 암 위험과 알코올의 관계는 감소하거나 사라질 것입니다.

무작위화의 목적은 치료군과 대조군 사이에서 모든 것을 균형 있게 조절하는 것이며 잠재적 교란 요인을 제거하는 것입니다. 잠재적 교란 요인을 제거하는 다른 방법이 있습니까? 그렇습니다. 문제의 요인을 측정하고 통계 분석에서 이를 조정하거나 통제합니다. 따라서 무작위화에는 무작위화되지 않은 연구에서는 얻을 수 없는 정확히 하나의 가능한 이점이 있음이 분명합니다. un측정된 교란 변수. 관심 결과에 대한 생물학적, 의학적 또는 역학적 관계가 불완전하게 이해되는 경우 모든 관련 요인이 측정되지 않을 수 있으며, 측정되지 않은 요인 중 일부는 여전히 관심 연관성을 교란할 수 있습니다.

따라서 무작위화는 이론에 의하면, 관찰된 연관성에 대한 설명으로 측정되지 않은 요인에 의한 잠재적 교란 요인을 제거합니다. 이것이 타당성 논거입니다. 그러나 문제는 무작위화가 현실에서 얼마나 잘 작동하는지, 그리고 누가 무작위화에 의해 정확히 균형을 이루어야 하는지에 관한 것입니다. 임상 시험은 치료 그룹 할당을 결정하기 위해 모든 참여 피험자에게 무작위화를 적용합니다. 연구 결과 사건에서 개인이 전체 연구의 하위 집합을 구성하는 경우 해당 결과 사람들은 잠재적 교란 요인에서도 균형을 이루어야 합니다. 예를 들어, 치료 그룹의 모든 사망자가 남성이고 위약 그룹의 모든 사망자가 여성인 경우 성별은 치료의 효과를 교란할 가능성이 높습니다. 

문제는 RCT 연구는 본질적으로 결과 대상자의 적절한 무작위성을 명확히 보여주지 않으며, 전체 치료 그룹에 대한 무작위성을 보여주려는 의도는 거의 항상 과학적으로 무의미하다는 것입니다. 이 문제는 RCT 연구를 수행하는 개인과 논문을 검토하는 검토자 및 저널 편집자가 역학적 원리를 충분히 이해하지 못하기 때문에 발생할 가능성이 큽니다.

대부분의 RCT 출판물에서 조사자는 치료군과 위약군(열)과 다양한 측정 요인(행)에 대한 형식적인 초기 설명 표를 제공합니다. 즉, 성별, 연령대, 인종/민족 등에 따른 치료군과 위약군의 백분율 분포입니다. 이러한 표의 세 번째 열은 일반적으로 각 측정 요인에 대한 치료군과 위약군 간의 빈도 차이에 대한 p-값 통계입니다. 느슨하게 말해서, 이 통계는 치료군과 위약군 간의 빈도 차이가 이렇게 클 수 있는 확률을 우연히 발생시켰을 가능성을 추정합니다. 피험자가 치료군을 전적으로 우연히 배정받았다는 점을 감안할 때, 무작위화 기회 프로세스에 대한 통계적 검토는 동어반복적이고 무의미합니다. 일부 RCT에서 일부 요인이 무작위화에서 우연이 허용하는 것보다 더 극단적으로 보일 수 있는 것은 행 아래의 여러 요인에 대한 분포적 차이가 검토되었고 그러한 상황에서 다중 비교에 대한 통계적 통제를 사용해야 하기 때문입니다.

RCT 설명 표의 세 번째 열에 필요한 것은 p 값이 아니라, 특정 행 요인의 교란 정도를 측정한 값입니다. 교란은 그것이 어떻게 발생했는지가 아니라 얼마나 심각한지에 따라 측정됩니다.. 직업 역학자로서의 제 경험에 따르면, 교란 요인에 대한 가장 좋은 단일 척도는 교란 요인을 조정한 경우와 조정하지 않은 경우의 치료-결과 관계 규모의 백분율 변화입니다. 예를 들어, 성별에 대한 조정을 통해 치료가 사망률을 25%(상대 위험 = 0.75) 감소시키지만 조정하지 않은 경우 사망률을 50% 감소시킨다면 성별에 따른 교란 요인의 규모는 (0.75 - 0.50)/0.75 = 33%가 됩니다. 역학자들은 일반적으로 이러한 조정을 통해 10% 이상의 변화가 교란 요인이 존재하고 통제해야 한다는 것을 의미한다고 생각합니다.

제가 관찰했듯이, 대부분의 RCT 출판물은 전체 치료 그룹에 대한 교란 추정치의 크기를 제공하지 않으며, 결과 피험자에 대한 추정치는 제공하지 않습니다. 따라서 결과 피험자가 논문의 설명 표에 제공된 모든 요인에 대해 적절하게 무작위화되었다고 말할 수 없습니다. 그러나 RCT 연구의 잠재적인 치명적인 결함은 무작위화되지 않은 연구보다 더 나을 수 없고 어떤 경우에는 더 나쁠 수 있는 것으로, 무작위화는 많은 수의 피험자가 무작위화되었을 때만 작동한다는 것입니다(Deaton 및 Cartwright, 2018). 이는 전체 연구가 아니라 결과 피험자에게만 특별히 적용됩니다. 

동전을 34번 던지는 것을 생각해 보세요. 우연히(7%) 적어도 3번은 앞면이 나오고 2.33번은 뒷면이 나오거나 그 반대의 경우가 나올 수 있습니다. 그러나 이 차이의 크기인 2.33/70 = 100은 잠재적 교란 요인 측면에서 잠재적으로 상당히 클 수 있습니다. 반면에 000078번 던진 것 중 50번 이상 앞면이 나와서 동일한 10 크기가 발생하는 경우는 드물 것입니다(p=.XNUMX). 무작위 배정이 작동하려면 치료군과 위약군 모두에서 상당한 수의 결과 사건이 있어야 합니다(예: 각 군에서 XNUMX개 이상). 이것이 RCT 연구의 암묵적인 잠재적 주요 결함으로, 그럴듯함 논거를 쓸모없게 만듭니다. RCT 연구는 일반적으로 치료가 예상대로 작동하면 주요 결과의 통계적 유의성을 찾을 수 있는 충분한 통계적 검정력을 갖도록 설계되지만 잠재적 교란 요인을 XNUMX% 미만으로 줄일 수 있는 충분한 결과 피험자를 갖도록 설계되지 않았기 때문입니다.

이 문제의 중요한 예는 Pfizer BNT162b2 mRNA Covid-19 백신에 대한 첫 번째 출판된 효능 RCT 결과에서 볼 수 있습니다(Polack et al., 2020). 이 연구는 규모가 충분히 크고(무작위 참가자 43,548명) 중요한(Covid-19) 것으로 간주되어 가정된 RCT 타당성 때문에 "명망 있는" 의학의 뉴 잉글랜드 저널. 이 연구의 주요 결과는 백신 또는 위약 주사의 두 번째 복용 후 최소 19일 후에 시작된 코로나162의 발생이었습니다. 그러나 위약 대상자 중에서는 XNUMX건이 관찰되어 무작위 배정에 충분한 반면, 백신 대상자 중에서는 XNUMX건만 발견되어 무작위 배정이 교란을 통제하기에 충분하지 않았습니다. 

일반적인 역학적 경험에 따르면, 이렇게 큰 추정 상대 위험(약 162/8 = 20)은 전적으로 교란 요인 때문일 가능성은 낮지만, 상대 위험의 정확성이나 암시된 효과((20 - 1)/20 = 95%)는 의심스럽습니다. 사용 중인 이 백신이 감염 위험을 줄이는 데 이렇게 효과적이지 않은 것으로 관찰된 것은 치료군과 위약군 모두의 결과 피험자에게 무작위 배정이 효과가 있는지 확인하기에 표본 크기가 부족하여 연구 결과가 약했기 때문에 놀라운 일이 아닙니다.

역학의 "깊은 탐구"는 시험의 각 치료 부문에서 50명 미만의 결과 피험자를 대상으로 하는 RCT 연구가 측정되지 않은 요인에 의한 잠재적 교란을 피할 수 있는 주장이 거의 없거나 전혀 없는 이유를 보여줍니다. 그러나 그러한 시험이 악화되는 동일한 노출과 결과에 대한 무작위 대조 시험보다. 무작위 대조 시험에서 조사자는 많은 요인이 가능한 교란 요인으로서 결과의 발생에 영향을 미칠 수 있음을 알고 있으므로 통계 분석에서 해당 요인을 조정하고 통제하기 위해 관련 있다고 생각되는 모든 것을 측정합니다. 

그러나 RCT에서 연구자들은 무작위 배정이 성공적이었다고 생각하고 조정되지 않은 통계 분석을 수행하여 잠재적으로 혼동스러운 결과를 제공합니다. 수만 명의 참여자가 있기 때문에 RCT가 "대규모" 연구로 행세하는 것을 볼 때, 그 너머로 시험의 치료 부문에서 발생한 주요 결과 사건의 수를 살펴보세요. 주요 결과 사건의 수가 적은 시험은 쓸모가 없으며 공개되어서는 안 되며, 공중 보건이나 정책 고려 사항에 의존해서는 안 됩니다.

경험적 증거

위의 모든 내용을 읽고 나면 무작위 대 비무작위 시험에 대한 이러한 주장이 매우 타당하다고 생각할 수 있지만, 이를 뒷받침하는 경험적 증거는 어떨까요? 이를 위해 Cochrane Library Database of Systematic Reviews(Anglemyer et al., 2014)에서 매우 철저한 분석을 수행했습니다. 이 연구는 1990년 2013월부터 14년 XNUMX월까지의 기간 동안 XNUMX개의 전자 출판 데이터베이스를 종합적으로 검색하여 "[무작위] 시험에서 시험된 개입의 효능 또는 효과를 측정하는 양적 효과 크기 추정치를 관찰 연구에서 시험된 것과 비교한" 모든 체계적 고찰 논문을 파악했습니다. 사실상 메타 분석의 메타 분석인 이 분석에는 XNUMX개의 고찰 논문에 요약된 수천 개의 개별 연구 비교가 포함되었습니다. 

결론: RCT와 그에 상응하는 무작위화되지 않은 시험 결과 사이에 평균 8% 차이(95% 신뢰 한계, -4%~22%, 통계적으로 유의하지 않음)가 있습니다. 요약하자면, 이러한 지식 체계(경험적 지식과 역학적 원칙에 기반한 지식)는 소위 "타당성"과 달리 무작위 시험이 의학적 증거의 황금 표준이나 유일하게 허용되는 의학적 증거 형태로 자동 순위가 매겨지지 않으며, 모든 연구는 자체 강점과 약점, 그리고 이러한 강점과 약점이 도출된 결론에 얼마나 중요한지에 대해 비판적이고 객관적으로 검토해야 한다는 것을 보여줍니다.

기타 가능성

코로나19 팬데믹 동안, 수많은 다른 과학적 증거 주장이 공중 보건 정책을 정당화하는 데 사용되었으며, 팬데믹 비상사태 선언 자체도 포함되었습니다. 이러한 주장의 근간에는 공중 보건 팬데믹 관리의 목표가 SARS-CoV-2 바이러스에 감염된 사람의 수를 최소화하는 것이라는 그럴듯하지만 오류가 있는 원칙이 있습니다. 

그 정책은 당연한 것처럼 보일 수 있지만, 일괄적인 정책으로는 잘못된 것입니다. 최소화해야 할 것은 팬데믹의 해로운 결과입니다. 감염으로 인해 대부분의 사람들에게 불쾌하거나 성가신 증상이 나타나지만 심각하거나 장기적인 문제는 없다면(일반적으로 SARS-CoV-2의 경우, 특히 오미크론 시대의 경우) 그러한 개인의 자연적 또는 경제적 권리를 침해하고 그 자체로 해를 끼치는 일반 대중 건강 개입 및 제한의 실질적인 이점은 없을 것입니다. 

미국을 포함한 서구 사회는 매년 수백만 명의 감염자가 발생하더라도, 전염병 비상사태를 선포하지 않고 매년 발생하는 호흡기 감염 물결을 별 문제 없이 견뎌냅니다. 감염의 결과가 일반적으로 의학적으로 사소하다고 여기기 때문이며, 매년 수만 명이 사망하는 것을 감안하더라도 마찬가지입니다. 

코로나19 팬데믹의 첫 몇 달 동안 감염 사망 위험은 연령대에 따라 1,000배 이상 달랐고, 당뇨병, 비만, 심장병, 신장 질환, 암 병력 등 만성 건강 문제가 없는 사람들은 사망 위험이 무시할 만하고 입원 위험은 매우 낮다는 것이 확인되었습니다. 그 시점에서는 평균적으로 공중 보건 개입의 혜택을 볼 수 있는 고위험 개인과 상당한 또는 장기적인 문제 없이 감염을 성공적으로 견뎌낼 수 있는 저위험 개인을 구분하는 것이 간단했습니다. 따라서 위험 범주를 구분하지 않는 강박적이고 일괄적인 팬데믹 관리 계획은 처음부터 비합리적이고 억압적이었습니다.

따라서 감염 전파를 줄이기 위해 타당성에 의해 추진된 조치는 그 목적에 효과적이었더라도 좋은 팬데믹 관리에 도움이 되지 않았습니다. 그러나 이러한 조치는 처음부터 과학적 증거에 의해 정당화되지 않았습니다. 2021피트 사회적 거리두기 규칙은 CDC의 임의적 조작이었습니다(Dangor, 2021). 얼굴 마스크 착용의 이점에 대한 주장은 착용자에게 잠재적인 이점(착용자에게는 더 많은 이론적 위험을 감수할지 여부에 대한 개인적 선택)과 주변 사람들에게 미치는 이점, 즉 공중 보건 고려 사항이 적절하게 적용될 수 있는 소위 "감염원 통제"를 구별하는 경우가 거의 없었습니다. 치명적인 결함이 없는 호흡기 바이러스에 대한 마스크 기반 감염원 통제 연구는 감염 전파를 줄이는 데 상당한 이점이 없음을 보여주었습니다(Alexander, 2022; Alexander, 2022; Burns, XNUMX).

일반 인구 봉쇄는 서방 국가에서 한 번도 사용된 적이 없으며 불가피한 일을 연기하는 것 외에는 효과가 있다는 증거가 없습니다(Meunier, 2020). 호주 인구 데이터에서 명확히 알 수 있듯이(Worldometer, 2022). 팬데믹 인플루엔자 통제를 위한 공중 보건 조치에 대한 확실한 논의에서(잉글스비 등, 2006)저자는 "인플루엔자 확산을 늦추기 위해 감염 가능성이 있는 사람들을 장기간 격리하는 것을 뒷받침하는 역사적 관찰이나 과학적 연구는 없습니다. 세계보건기구(WHO) 저술 그룹은 문헌을 검토하고 현대의 국제적 경험을 고려한 후 '강제 격리 및 격리는 효과적이고 비실용적'이라는 결론을 내렸습니다. ... 대규모 격리의 부정적인 결과는 너무 극단적입니다(병든 사람을 우물에 강제로 격리; 대규모 인구의 이동을 완전히 제한; 격리 구역 내 사람들에게 중요한 물품, 의약품 및 식량을 공급하는 데 어려움) 이 완화 조치는 심각한 고려에서 제외되어야 합니다."라고 말합니다.

여행 제한에 대해 Inglesby et al. (2006)은 "공항 폐쇄 및 국경에서 여행자 선별과 같은 여행 제한은 역사적으로 효과가 없었습니다. 세계보건기구 저술 그룹은 '과거 팬데믹에서 국경에서 입국하는 여행자를 선별하고 격리하는 것은 바이러스 도입을 크게 지연시키지 못했으며 … 현대에는 더욱 효과가 없을 것'이라고 결론지었습니다." 학교 폐쇄에 대해(Inglesby et al., 2006): "이전 독감 유행병에서 학교 폐쇄가 발병률에 미치는 영향은 엇갈렸습니다. 이스라엘의 한 연구에 따르면 교사 파업 2주 후 호흡기 감염이 감소했지만 감소는 단 하루 동안만 나타났습니다. 반면, 1918년 시카고에서 팬데믹 동안 겨울 방학으로 학교가 폐쇄되었을 때 '학생들 사이에서 학교가 개학했을 때보다 더 많은 독감 사례가 발생했습니다.'"

이 논의는 이러한 조치가 효과성에 대한 타당성 주장에 근거하여 바이러스 전파를 방해한다고 가정하는 것이 팬데믹을 관리하는 데 잘못된 방향으로 인도되었고, 확산을 줄이는 데 있어 효과성에 대한 과학적 증거로 입증되지 않았다는 것을 분명히 합니다. 이러한 조치의 대규모 홍보는 Covid-19 시대에 공중 보건 정책의 실패를 보여주었습니다.

타당성 vs 나쁜 과학

다양한 공중 보건 정책과 일반 대중에게 제공된 정보가 타당성에 의해 뒷받침되지 않고 대신 나쁜 또는 치명적으로 결함이 있는 과학에 의해 뒷받침되어 진짜 과학인 것처럼 가장했다는 주장이 제기될 수 있습니다. 예를 들어, 자체적으로 발행하는 비심사 저널에서, 주간 발병률 및 사망률 보고서CDC는 백신 효과에 대한 여러 분석을 발표했습니다. 이 보고서는 단면 연구를 설명했지만, 백신 효과를 계산하기 위해 상대 위험 대신 추정된 승산비 매개변수를 체계적으로 사용하여 사례 대조 연구인 것처럼 분석했습니다. 연구 결과가 드물게 나타나는 경우(예: 연구 대상자의 10% 미만) 승산비는 상대 위험에 근접할 수 있지만 그렇지 않은 경우 승산비는 과대평가되는 경향이 있습니다. 그러나 단면 연구에서는 상대 위험을 직접 계산할 수 있으며 상대 위험 회귀(Wacholder, 1986)를 통해 잠재적 교란 요인을 조정할 수 있습니다. 이는 사례 대조 연구에서 로지스틱 회귀를 사용하는 것과 유사합니다.

대표적인 예는 19차 코로나2022 백신의 효과에 대한 연구입니다(Tenforde et al., 4,094). 이 연구에서 "... IVY Network는 18세 이상 성인 2,952명을 등록"했고, 관련 피험자를 제외한 후 "입원 환자 1,385명을 포함했습니다(1,567명의 사례 환자와 19명의 비코로나82 대조군)." 설계에 따른 단면 연구는 총 피험자 수를 식별하는 반면, 사례 및 대조군 수, 노출 및 비노출 수는 조사자의 개입 밖에서 발생합니다. 즉, 조사 중인 의학적, 생물학적 및 역학적 메커니즘의 기초가 되는 자연적 과정에 의해 발생합니다. 총 피험자 수를 선택함으로써 Tenforde et al. 연구는 정의상 단면 설계입니다. 이 연구는 면역 저하 상태가 없는 환자에서 백신 효과가 1%라고 보고했습니다. 이 추정치는 0.82 - 0.18 = 31의 조정된 승산비를 반영합니다. 그러나 백신 접종자 중 사례 환자의 비율은 70%이고 백신 미접종자는 3%였으며, 둘 다 백신 효과를 계산하기 위해 확률비 근사치를 사용할 만큼 충분히 드물지 않습니다. 연구 보고서 표 0.45의 숫자에 따라 조정되지 않은 상대 위험도는 0.43이고 대략적으로 조정된 상대 위험도는 1으로 계산하여 실제 백신 효과는 0.43 - 57 = 82%로 논문에 제시된 XNUMX%와 크게 다르고 훨씬 나쁩니다.

다른 맥락에서, 제가 조기 외래 코로나19 치료를 위한 하이드록시클로로퀸(HCQ) 사용에 대한 요약 리뷰 기사를 발표한 후(Risch, 2020), HCQ가 효과가 없다는 것을 보여주기 위한 여러 임상 시험 논문이 출판되었습니다. 이러한 소위 "반박"의 첫 번째는 입원 환자를 대상으로 수행되었는데, 이들의 질병은 병태생리학 및 치료 측면에서 조기 외래 질환과 거의 완전히 다릅니다(Park et al., 2020). 제가 리뷰에서 다루었던 중요한 결과인 입원 위험과 사망률은 이러한 작업에서 바이러스 검사 양성 기간이나 입원 기간과 같은 주관적이고 덜 중요한 결과에 초점을 맞추면서 주의가 산만해졌습니다.

그 후, 외래 HCQ 사용에 대한 RCT가 발표되기 시작했습니다. 전형적인 것은 Caleb Skipper et al. (2020)의 것입니다. 이 시험의 주요 종료점은 14일 동안 전체적으로 자체 보고된 증상 심각도의 변화였습니다. 이 주관적 종료점은 대유행의 중요성이 거의 없었는데, 특히 이 연구 그룹의 연구에 참여한 피험자들은 자신이 시험의 HCQ 또는 위약군에 있는지 알 수 있었고(Rajasingham et al., 2021) 따라서 자체 보고된 결과가 약물군에 대해 모두 그렇게 맹검되지 않았다는 점을 감안할 때 더욱 그렇습니다. 통계 분석을 통해 저자들은 적절하게 "하이드록시클로로퀸은 초기 경증 COVID-19 외래 환자의 증상 심각도를 크게 감소시키지 못했다"는 결론을 내렸습니다. 그러나 일반 언론은 이 연구가 "하이드록시클로로퀸이 효과가 없다"는 것을 보여준다고 보도했습니다. 예를 들어, Jen Christensen(2020)은 CNN 건강 의학 저널에 목요일에 발표된 연구에 따르면, 항말라리아제인 하이드록시클로로퀸은 감염 초기에 치료를 받은 경증 코로나19 증상이 있는 입원하지 않은 환자에게는 이롭지 않은 것으로 나타났습니다. 내과 실록. " 

하지만 사실, Skipper 연구는 중요한 두 가지 결과, 즉 입원 위험과 사망 위험에 대해 보고했습니다. 위약의 경우 입원 10건과 사망 1건이었고, HCQ의 경우 입원 4건과 사망 1건이었습니다. 이 수치는 입원 위험이 60% 감소했음을 보여주지만, 통계적으로 유의하지는 않았지만(p=0.11) 외래 환자의 HCQ 사용에 대한 입원 위험에 대한 다른 모든 연구와 완전히 일치합니다(Risch, 2021). 그럼에도 불구하고 이러한 소수의 결과 사건은 무작위 배정이 모든 요소를 ​​균형 잡기에 충분하지 않으며, 이 연구는 이러한 기준에 따라 본질적으로 쓸모가 없습니다. 하지만 여전히 일반 문헌에서는 HCQ가 외래 사용에 아무런 이점이 없다는 것을 보여주는 것으로 오해되었습니다.

결론

코로나19 팬데믹 동안 그럴듯한 과학적 허튼소리나 잘못된 과학의 다른 많은 사례가 발생했습니다. 철회된 Surgisphere 논문에서 보듯이, 의학 저널은 결론이 정부 정책과 일치하는 한 이런 넌센스를 일상적으로 비판 없이 게재합니다. 이런 가짜 지식은 NSC, FDA, CDC, NIH, WHO, Wellcome Trust, AMA, 의학 전문 위원회, 주 및 지방 공공 보건 기관, 다국적 제약 회사 및 전 세계의 다른 조직에서 최고 수준에서 퍼뜨려져 대중에 대한 책임을 위반했거나 의도적으로 가짜 과학을 이해하지 않기로 했습니다. 

미국 상원은 최근 코로나19 비상사태를 XNUMX번째로 해제하기로 투표했지만, 바이든 대통령은 재발에 대한 "두려움" 때문에 이 조치에 거부권을 행사할 것이라고 밝혔습니다. 사례 번호. 제 동료들과 저는 거의 2022년 전에 팬데믹 비상사태가 끝났다고 주장했습니다(Risch et al., XNUMX). 그러나 "비상사태"라는 명목으로 인권을 억압하는 것을 정당화하기 위해 사례 수에 대한 허황된 의존은 여전히 ​​계속되고 있습니다.

전통적 미디어와 많은 소셜 미디어의 대대적인 검열로 인해 이 나쁘고 가짜 과학에 대한 대부분의 대중 토론이 차단되었습니다. 검열은 변호할 수 없는 도구입니다. 타당한 과학은 본질적으로 스스로를 방어하기 때문입니다. 대중이 타당성과 과학의 차이를 이해하기 시작하고 과학처럼 보이지만 과학이 아닌 과학 "제품"을 대량 생산하기 위해 얼마나 많은 노력을 기울였는지 이해하기 전까지는 그 과정이 계속될 것이고 권위주의적 권력을 추구하는 지도자들은 계속해서 가짜 정당화를 위해 그것에 의존할 것입니다.

참고자료

Alexander, PE(2021년 20월 XNUMX일). 마스크의 비효과성 및 해악에 대한 150개 이상의 비교 연구 및 기사. 브라운스톤 연구소. https://brownstone.org/articles/more-than-150-comparative-studies-and-articles-on-mask-ineffectiveness-and-harms/

Alexander, PE(2022년 3월 XNUMX일). CDC, 마스크 연구 수정 사항 게시 거부. 브라운스톤 연구소. https://brownstone.org/articles/cdc-refuses-to-post-the-fix-to-its-mask-study/

Anglemyer, A., Horvath, HT, Bero, L. (2014). 무작위 시험에서 평가한 것과 비교한 관찰 연구 설계로 평가한 의료 결과(리뷰). Cochrane Database of Systematic Reviews, 4, Article MR000034. https://doi.org/10.1002/14651858.MR000034.pub2

배, J.-M. (2016). 영양 역학에서 관찰 연구의 체계적 검토에서 품질 평가를 위한 제안. 역학 및 건강, 38, 기사 e2016014. https://doi.org/10.4178/epih.e2016014

Berger, MA(2011). 전문가 증언의 허용 가능성. National Research Council, 과학적 증거에 대한 참조 매뉴얼 제XNUMX판 개발 위원회, 과학적 증거에 대한 참고 매뉴얼, 11판(pp. 36-XNUMX). National Academies Press. https://nap.nationalacademies.org/catalog/13163/reference-manual-on-scientific-evidence-third-edition

Burns, E. (2022년 10월 XNUMX일). 또 다른 날, 또 다른 끔찍한 마스크 연구. 마스크에 대한 최신 저질 과학의 후드 아래를 살펴보자. 서브스택. https://emilyburns.substack.com/p/another-day-another-terrible-mask

메디케어 및 메디케이드 서비스 센터(2022년 XNUMX월). 열린 결제 검색. 미국 보건복지부, 메디케어 및 메디케이드 서비스 센터. https://openpaymentsdata.cms.gov/

Christensen, J. (2020년 16월 XNUMX일). 새로운 연구에 따르면 하이드록시클로로퀸은 입원하지 않은 코로나19 환자에게도 도움이 되지 않습니다.. CNN 건강. https://www.cnn.com/2020/07/16/health/hydroxychloroquine-doesnt-work-hospitalized-patients/

Collins, R., Bowman, L., Landray, M., & Peto, R. (2020). 무작위화의 마법 대 실제 세계 증거의 신화. 의학의 뉴 잉글랜드 저널, 382 (7), 674-678. https://www.nejm.org/doi/10.1056/NEJMsb1901642

Dangor, G. (2021년 19월 XNUMX일). CDC의 6피트 사회적 거리두기 규칙은 '임의적'이라고 전 FDA 국장이 밝힘. 포브스. https://www.forbes.com/sites/graisondangor/2021/09/19/cdcs-six-foot-social-distancing-rule-was-arbitrary-says-former-fda-commissioner/

Deaton, A., & Cartwright, N. (2018). 무작위 대조 시험의 이해와 오해. 사회 과학 및 의학, 210, 2-21. https://doi.org/10.1016/j.socscimed.2017.12.005

파인만, RP(1974). 카고 컬트 과학. 공학 및 과학, 37 (7), 10-13. https://resolver.caltech.edu/CaltechES:37.7.CargoCult

Goldberger, J., Waring, CH, & Willets, DG (1915). 펠라그라 예방: 기관 수감자 식단 테스트. 공중보건 보고서, 30 (43), 3117-3131. https://www.jstor.org/stable/4572932

Hartling, L., Milne, A., Hamm, MP, Vandermeer, B., Ansari, M., Tsertsvadze, A., Dryden, DM(2013). Newcastle Ottawa Scale을 테스트한 결과 개별 검토자 간의 신뢰도가 낮았습니다. 임상 역학 저널, 66, 982-993. https://doi.org/10.1016/j.jclinepi.2013.03.003

Hill, AB (1965). 환경과 질병: 연관성 또는 인과관계. 왕립의학회 회보, 58 (5), 295-300. https://doi.org/10.1177/003591576505800503

Inglesby, TV, Nuzzo, JB, O'Toole, T., Henderson, DA(2006). 전염병 인플루엔자 통제를 위한 질병 완화 조치. 생물 보안 및 생물 테러: 생물 방어 전략, 실행 및 과학, 4 (4) : 366-375. https://doi.org/10.1089/bsp.2006.4.366

Meunier, T. (2020년 1월 XNUMX일). 서유럽 국가의 완전 봉쇄 정책은 COVID-19 전염병에 뚜렷한 영향을 미치지 않았습니다.한국어: .medRxiv.com https://doi.org/10.1101/2020.04.24.20078717

MSNBC. (2021년 9월 XNUMX일). 파우치, 공화당의 공격에 대응 [비디오]. 유튜브. https://www.youtube.com/watch?v=z-tfZr8Iv0s

미국 국립의학도서관(2021년 XNUMX월). ClinicalTrials.gov. 역사, 정책 및 법률. 미국 보건복지부, 국립보건원, 국립의학도서관. https://clinicaltrials.gov/ct2/about-site/history

Park, JJH, Decloedt, EH, Rayner, CR, Cotton, M., Mills, EJ (2020). COVID 19의 질병 단계에 대한 임상 시험: 복잡하고 종종 오해됨. Lancet 글로벌 건강, 8(10), e1249-e1250. https://doi.org/10.1016/S2214-109X(20)30365-X

Polack, FP, Thomas, SJ, Kitchin, N., Absalon, J., Gurtman, A., Lockhart, S., Perez, JL, Pérez Marc, G., Moreira, ED, Zerbini, C., Bailey, R., Swanson, KA, Roychoudhury, S., Koury, K., Li, P., Kalina, WV, Cooper, D., Frenck, RW, Jr., Hammitt, LL, …, Gruber, WC(2020). BNT162b2 mRNA 코로나19 백신의 안전성과 효능. 의학의 뉴 잉글랜드 저널, 383 (27), 2603-2615. https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Rajasingham, R., Bangdiwala, AS, Nicol, MR, Skipper, CP, Pastick, KA, Axelrod, ML, Pullen, MF, Nascene, AA, Williams, DA, Engen, NW, Okafor, EC, Rini, BI, Mayer, IA, McDonald, EG, Lee, TC, Li P., MacKenzie, LJ, Balko, JM, Dunlop, SJ, …, Lofgren, SM (2021). 의료 종사자의 코로나바이러스감염증-2019(COVID-19)에 대한 노출 전 예방제로서의 히드록시클로로퀸: 무작위 시험. 임상 전염병, 72(11), e835-e843. https://doi.org/10.1093/cid/ciaa1571

Risch, HA(2020). 증상이 있고 위험도가 높은 COVID-19 환자의 조기 외래 치료는 팬데믹 위기의 핵심으로 즉시 확대되어야 함. 역학의 미국의 저널, 189 (11), 1218-1226. https://doi.org/10.1093/aje/kwaa093

Risch, HA (2021년 17월 XNUMX일). 고위험 COVID-19 외래환자의 조기 치료에서의 히드록시클로로퀸: 효능 및 안전성 증거. EarlyCovidCare.org, https://earlycovidcare.org/wp-content/uploads/2021/09/Evidence-Brief-Risch-v6.pdf

Risch, H., Bhattacharya, J., Alexander, PE(2022년 23월 XNUMX일). 비상사태는 지금 당장 종식되어야 합니다. 브라운스톤 연구소. https://brownstone.org/articles/the-emergency-must-be-ended-now/

Sackett, DL, Rosenberg, WMC, Gray, JAM, Haynes, RB, & Richardson, WS(1996). 증거 기반 의학: 그것이 무엇이고 무엇이 아닌가. BMJ, 312, 제71조. https://doi.org/10.1136/bmj.312.7023.71

Skipper, CP, Pastick, KA, Engen, NW, Bangdiwala, AS, Abassi, M., Lofgren, SM, Williams, DA, Okafor, EC, Pullen, MF, Nicol, MR, Nascene, AA, Hullsiek, KH, Cheng, MP, Luke, D., Lother, SA, MacKenzie, LJ, Drobot, G., Kelly, LE, Schwartz, IS, …, Boulware, DR (2020). 초기 COVID-19에 걸린 비병원성 성인의 히드록시클로로퀸: 무작위 시험. 내과 실록, 173 (8), 623-631. https://doi.org/10.7326/M20-4207

Tenforde, MW, Patel, MM, Gaglani, M., Ginde, AA, Douin, DJ, Talbot, HK, Casey, JD, Mohr, NM, Zepeski, A., McNeal, T., Ghamande, S., Gibbs, KW, Files, DC, Hager, DN, Shehu, A., Prekker, ME, Erickson, HL, Gong, MN, Mohamed, A., …, Self, WH(2022). 주간 발병률 및 사망률 보고서, 71(4), 118-124. https://www.cdc.gov/mmwr/volumes/71/wr/mm7104a2.htm

Tigas, M., Jones, RG, Ornstein, C., & Groeger, L. (2019년 17월 XNUMX일). 의사를 위한 달러. 업계 달러가 어떻게 의사에게 도달했는가. 프로퍼블리카. https://projects.propublica.org/docdollars/

Wacholder, S. (1986). GLIM의 이항 회귀: 위험 비율과 위험 차이 추정. 역학의 미국의 저널, 123 (1), 174-184. https://doi.org/10.1093/oxfordjournals.aje.a114212

Whelan, R. (2020년 3월 XNUMX일). 2020-08-03 – CNN COVID, 예일 역학자 Harvey Risch 인터뷰 [비디오]. 유튜브. https://www.youtube.com/watch?v=gGO6Ke81bUQ

월드오미터(Worldometer). (2022년 15월 XNUMX일). 호주의 총 코로나바이러스 사례. 월드오미터. https://www.worldometers.info/coronavirus/country/australia/