델파이 조사, 몇 라운드 돌려야 하나 — 라운드 구성과 종료 기준

델파이 조사를 설계할 때 가장 먼저 정해야 하는 것 중 하나가 라운드 수입니다. 결론부터 말하면 보통 2~4라운드, 전형은 3라운드이며, 미리 못박기보다 종료 기준을 정해두고 데이터를 보며 판단하는 것이 원칙입니다.

라운드별 역할

전형적인 3라운드 구성은 이렇습니다.

1. 1차 — 개방형. "이 주제에서 중요한 요소는 무엇입니까"처럼 열린 질문으로 의견을 수집하고, 연구자가 이를 범주화해 폐쇄형 문항(항목 목록)을 만듭니다. 문헌 검토로 문항을 만들 수 있으면 1차를 생략하고 2라운드로 시작하기도 합니다 (수정 델파이).
2. 2차 — 평정. 만들어진 문항을 리커트 척도(보통 5점)로 평가받습니다. 여기서 CVR, 합의도, 수렴도를 계산합니다.
3. 3차 — 재평정. 2차의 통계 결과(중앙값, 사분위범위)와 본인의 이전 응답을 함께 보여주고 다시 평가받습니다. 자기 응답이 사분위범위 밖이면 사유를 적게 하는 것이 일반적입니다. 이 피드백 과정이 델파이를 일반 설문과 구별하는 핵심입니다.

언제 멈추는가 — 종료 기준 세 가지

① 합의 도달. 문항들이 판정 기준을 충족하면 더 돌릴 이유가 없습니다. 통용 기준은 CVR이 Lawshe 기준표 이상, 합의도 .75 이상, 수렴도 .50 이하입니다.

② 안정도. 라운드를 거듭해도 응답이 더 변하지 않는다면 합의 여부와 무관하게 종료할 수 있습니다. 변이계수(CV = 표준편차/평균)가 .50 이하면 안정으로 봅니다. 합의에 못 이른 문항이라도 응답이 안정됐다면, 추가 라운드는 같은 결과만 반복할 가능성이 큽니다.

③ 패널 피로. 라운드가 늘수록 회수율이 떨어집니다. 탈락이 누적되면 최종 라운드의 N이 줄어 CVR 기준이 엄격해지는 역효과까지 생깁니다. 4라운드를 넘기는 설계가 드문 실질적 이유입니다.

실무 권장

• 설계 단계에서는 "3라운드, 단 2차에서 안정도 기준을 충족하면 종료"처럼 기준과 함께 적어 두면 논문 방어가 쉽습니다
• 3차(재평정)를 위해서는 2차 응답의 문항별 통계와 패널 개인의 이전 응답을 연결해 보여줘야 합니다. 익명 링크로 설문을 돌리면 이 연결이 끊기므로, 설계 단계부터 패널 추적 방법을 정해야 합니다

델파이닷컴은 라운드 간 패널을 자동으로 추적해, 재평정 라운드에서 각 전문가에게 이전 응답과 전체 통계를 함께 보여주는 것까지 처리합니다.