AI는 수능형 문제를 어떻게 만들까? 초안부터 검토·수정까지

AI 수능 출제 · 칼럼

AI에게 “수능형 문제를 만들어 줘”라고 요청하면 짧은 시간 안에 지문이나 자료, 발문과 선택지가 나옵니다. 겉보기에는 꽤 그럴듯합니다. 하지만 그럴듯한 초안과 학생에게 제시할 수 있는 문항 사이에는 거리가 있습니다.

SN독학기숙학원은 SNarGPT의 출제 AI인 SNarGEN과 범용 AI를 활용해 국어·수학·영어·통합사회·통합과학의 수능형 문제를 만들고 있습니다. 이 블로그에서는 완성된 문제뿐 아니라 AI가 어떤 초안을 만들었고, 검토 과정에서 무엇이 발견됐으며, 왜 수정했는지도 기록하려 합니다.

1. 한눈에 보는 출제 과정

만드는 AI와 검수하는 AI를 나누고 검토 결과를 비교하는 것은 한 AI가 놓친 오류를 찾기 위해서입니다. 다만 여러 AI의 판단이 일치하더라도 정확성이 보장되는 것은 아닙니다. 같은 오류를 놓칠 수 있으므로 교차 검수 뒤에도 최종 검토가 필요합니다.

다만 AI가 여럿이라고 판단까지 맡길 수는 없습니다. 마지막 관문은 교과 선생님입니다. 국어·수학·영어·과학·사회 선생님이 과목별로 문항을 직접 검증하고, 통과하지 못한 문항은 보완할 점과 함께 STEP 3으로 돌려보냅니다. 선생님의 통과를 받은 문항만 공개합니다.

STEP 1부터 STEP 4까지는 자동화되어 있습니다. 출제, 교차 검수, 수정, 재검수가 사람의 개입 없이 이어지기 때문에, 선생님은 초안을 하나하나 다듬는 대신 완성본을 검증하는 데 시간을 쓸 수 있습니다. 자동화 과정은 별도의 글에서 자세히 다루겠습니다.

---

2. 출발점은 ‘어떤 판단을 요구할 것인가’

같은 소재로도 서로 다른 문항을 만들 수 있습니다. 국어 독서 지문이라면 개념의 정의를 찾게 할 수도 있고, 떨어진 문단의 정보를 연결해 새로운 사례를 판단하게 할 수도 있습니다. 수학이라면 공식을 적용하게 할 수도 있고, 주어진 조건들이 답을 하나로 결정하는지 따지게 할 수도 있습니다.

어느 쪽이든 중요한 것은 출제 의도와 실제 풀이가 일치하는가입니다. ‘여러 정보를 결합하는 추론’을 목표로 했는데 지문의 한 문장만 보고 답을 고를 수 있다면, 프롬프트에 무엇을 주문했든 결과물은 목표와 어긋난 셈입니다.

그래서 AI에 초안을 요청하기 전에는 대상 학년도와 교육과정, 과목별 범위, 평가할 내용, 목표 난도와 형식을 정합니다. 그리고 초안이 나오면 이렇게 묻습니다.

---

3. AI 초안은 어디에서 흔들릴까

아래는 국어 독서 세트에서 발견한 문제와 수정 제안입니다. 최종 수정 결과를 확인한 사례와 구분해 소개하며, 수정 전·후 원문과 재검수 결과는 대조를 마친 뒤 별도의 출제 로그에서 다루겠습니다.

사례 ① 다른 문항에만 정의된 이름, ‘도로 A’

이 국어 독서 세트의 초안은 SNarGEN이 만들었고, 검토는 검토 에이전트인 SNarGO와 Claude가 맡았습니다. 검토 과정에서 한 선지의 ‘도로 A’라는 표현이 지적됐습니다. 해당 문항의 지문과 자료에는 정의가 없고, 뒤 문항의 〈보기〉에만 등장한다는 것이었습니다.

세트 전체를 알고 있는 출제자에게는 자연스러운 표현일 수 있습니다. 검토할 점은 학생이 문항을 읽는 순서가 아니라, 해당 문항에 주어진 정보만으로 선지를 판단할 수 있는가입니다. 이에 ‘도로 A’를 ‘요금 부과 도로’로 바꾸자는 수정안이 나왔습니다.

‘도로 A → 요금 부과 도로’는 검토 과정에서 나온 제안이며, 확정된 수정 결과는 아닙니다. 두 표현이 같은 대상을 가리키는지, 대체 표현만으로 대상이 명확해지는지, 정답과 해설에 영향이 없는지를 원문과 대조해야 합니다.

사례 ② 정답은 맞는데, 독해 없이 풀린다

국어 독서 문항을 검토하면서는 이런 지적도 나왔습니다. 계산과 정답은 맞지만, 지문의 핵심 개념을 이해하지 않고 표의 숫자만 계산해도 답에 도달할 수 있다는 것이었습니다.

---

4. 과목이 달라지면 검토 질문도 달라진다

모든 과목에 똑같은 점검표를 기계적으로 적용할 수는 없습니다. 정답의 정확성은 공통 출발점이지만, 문항이 실패하는 방식은 과목마다 다릅니다.

이 질문들은 모든 문항이 복잡해야 한다는 뜻이 아닙니다. 간결한 풀이 자체가 결함인 것도 아닙니다. 기본 개념을 확인하는 문항이라면 그 목적에 맞게 명확해야 하고, 자료를 결합하는 문항이라면 그 결합이 실제로 답을 고르는 데 필요해야 합니다. 난도보다 먼저 확인할 것은 문항의 목표와 작동 방식이 일치하는가입니다.

---

5. 수정한 뒤에는 왜 다시 풀어야 할까

선지 하나를 바꾸면 다른 선지와의 관계도 달라질 수 있습니다. 자료의 수치를 고치면 정답뿐 아니라 해설과 난도도 바뀔 수 있습니다. 문항은 수정됐는데 해설에는 이전 표현이 남는 경우도 생깁니다.

따라서 수정은 ‘지적된 부분을 고쳤다’에서 끝나지 않습니다. 바뀐 문항을 다시 풀고 아래 세 가지를 확인합니다.

• ✓ 정답이 여전히 하나인가?
• ✓ 오답마다 틀린 근거가 분명한가?
• ✓ 해설이 최종 문항을 정확히 설명하는가?

AI는 대안 제시와 검산을 도울 수 있지만, 그 제안을 채택할지와 최종 문항을 공개할지는 사람이 결정합니다.

---

6. 이 블로그에서 공개할 것

프롬프트는 작업의 취지를 알 수 있도록 요약만 공개하고 전문은 공개하지 않습니다. 누적 출제 문항 수, 초안 채택 비율, 수정 횟수, 오류 유형 등의 지표는 실제 출제 기록에서 확인하고 집계할 수 있는 범위에 한해 표시하겠습니다.

---

7. 자주 묻는 질문

이 블로그에서는 AI의 초안에서 어떤 문제가 발견됐고, 왜 고쳤으며, 수정 후에는 무엇을 확인했는지 기록하겠습니다. 완성된 문제와 함께 그 판단의 근거를 보여드리겠습니다. 그리고 그 기록이 쌓여 다음 문제를 더 낫게 만드는 출제 노하우가 됩니다.

---