AI 활용 역량 검사 과제형: 주관식 5문항과 CoT 프롬프트 풀이

핵심 요약

• AI 활용 역량 검사 과제형 주관식은 자료 파일을 시험 안의 AI와 함께 읽고, 판단과 계산 결과를 문장으로 쓰는 문항입니다. 프로그래머스가 공개한 응시 화면 예시에는 "서술형" 문항, 파일 목록, 남은 AI 질문 횟수가 함께 떠 있고, 이 회사는 답뿐 아니라 프롬프트 설계와 역검증 과정까지 채점한다고 밝혔습니다.
• 필자는 이 시험을 연습할 때 CoT 프롬프트를 "단계별로 생각해" 한 줄이 아니라, 단계를 나눠 중간값과 근거를 꺼내게 하는 질문으로 씁니다. OpenAI는 추론 모델에 "think step by step"이 불필요하다고 했고, Anthropic은 중간 결과를 확인해야 할 때는 작업을 여러 프롬프트로 나누는 방식이 여전히 쓸모 있다고 했습니다.
• 필자는 프롬프트 5번을 추출, 단계 풀이, 검산, 답안, 요구사항 점검에 하나씩 씁니다. 이 배분은 필자의 연습 규칙이고 시험 규칙이 아닙니다. 프로그래머스 응시자 가이드 기준으로 지문은 AI에게 자동으로 넘어가고, 질문 1회는 1,000자까지이며, 이전에 첨부한 파일 내용은 다음 질문에 남지 않아 프롬프트도 이 규칙에 맞춰 짰습니다.
• 아래 심화 문제 5개는 필자가 만든 연습 문제이고, 실제 기출이 아닙니다. 지문(계약 조항), 첨부파일(설문 CSV), 이미지(그래프 슬라이드), 이미지와 지문(영수증과 경비 규정), 여러 파일(보고서와 주문 원자료)을 하나씩 다루며, 자료마다 놓치면 답이 바뀌는 함정을 넣었습니다.
• 모범 프롬프트를 Claude Opus 5.5와 Haiku 5.5에 넣어 보니 두 모델 모두 다섯 과제를 맞혔고, 단계를 나누지 않은 한 방 질문도 60회 중 59회는 문제가 요구한 값을 맞혔습니다. 차이는 시험 규칙에서 났습니다. AI에게 지문이 없을 때 사람이 옮기며 단서 하나를 빠뜨리자 두 모델 합쳐 6회 모두 틀렸고, 다시 첨부하지 않은 파일이 필요한 계산은 6회 모두 하지 못해 다시 물어야 했습니다.

목차

• AI 활용 역량 검사 과제형 주관식이란?
• CoT 프롬프트란? 시험에서 쓰는 방법
• 프롬프트 5번 배분법과 연습 규칙
• 과제형 주관식 심화 문제 5개와 CoT 풀이
• 모범 프롬프트를 실제 AI에 넣어 본 결과
• 출처

AI 활용 역량 검사 과제형 주관식이란?

AI 활용 역량 검사 과제형 주관식은 첨부 자료를 시험 안의 AI와 함께 읽고, 계산과 판단 결과를 직접 문장으로 쓰는 문항입니다. 보기 중에 고르는 객관식과 달리 숫자, 근거, 결론을 모두 답안에 적어야 하므로 AI가 낸 값을 확인하지 않으면 틀린 값이 그대로 답이 됩니다.

시험 형식과 기업별 도입 현황, 객관식 위주의 예상문제 20개는 전편 AI 활용 역량 검사 대비방법: 예상문제 20개와 정답 해설에 정리했습니다. 이 글은 그 뒤 단계로, 주관식만 다룹니다.

공개된 자료 가운데 주관식 모양이 가장 잘 보이는 것은 프로그래머스입니다. 이 회사가 공개한 응시 화면 예시에는 "4. 서술형" 문항, 파일마다 토큰 수가 붙은 파일 목록, "AI 어시스턴트 · 30회 남음" 표시, 글자 수를 세는 답안 칸이 한 화면에 있습니다(프로그래머스 인사이트). 같은 글은 "과정 채점은 AI가 수행"하며, 대화 기록에서 "프롬프트를 어떻게 설계했는지, 도출된 답을 역으로 검증했는지" 본다고 적었습니다.

채점 기준은 프로그래머스 응시자 가이드에 더 구체적으로 나옵니다(프로그래머스 응시자 가이드). 서술형 과제인 AI 전문평가를 "'프롬프팅 중심 결과물 도출형'"이라고 부르고, 결과 평가는 "주어진 데이터(수치, 시점 등)와 규정(조문, 요건 등)에 근거하여 오류 없이 정확하고 논리적인 결론을 도출했는가", 과정 평가는 "목적에 맞는 자료 선별과 정교한 지시 설계, AI 결과물에 대한 비판적 검증 및 보안 통제"를 본다고 적었습니다. AI와 나눈 대화는 자동 저장되어 과정 평가에 쓰이므로 답안 칸에는 최종 결과만 씁니다.

같은 가이드는 프롬프트 예시도 실었습니다. 미흡한 예는 "자료들 보고 문제 원인 찾아서 작성해줘."이고, 우수한 예는 "OOO.pdf와 OOO.csv를 참고해서 문제 원인을 파악해 작성하되, 결론이 실제 데이터와 일치하는지 교차 검증하고 근거가 된 부분의 위치(행 번호/조항)와 내용을 반드시 인용해줘."입니다. 아래 모범 프롬프트도 단계마다 행 번호, 주문번호, 조항 번호를 함께 적게 했습니다. AI에게 일을 맡기고 결과를 검증하는 역량 자체는 AI 네이티브 뜻과 역량에서 따로 다뤘습니다.

CoT 프롬프트란? 시험에서 쓰는 방법

CoT(chain of thought, 사고의 사슬) 프롬프트란 AI가 답만 내지 않고 중간 단계를 거쳐 답에 이르도록 이끄는 질문 방식입니다. 2022년 구글 연구진은 중간 추론 단계를 보여 주는 예시 8개만 넣어도 PaLM 540B의 수학 문장제(GSM8K) 정답률이 18%에서 57%로 오른다고 보고했습니다(Wei et al., 2022). 같은 해 다른 연구는 예시 없이 "Let's think step by step" 한 줄을 붙여 GSM8K 정답률을 10.4%에서 40.7%로 올렸습니다(Kojima et al., 2022, text-davinci-002 기준).

다만 이 연구들은 2022년 모델 기준입니다. 시험 안의 AI가 어떤 모델인지는 공개되지 않았지만, 요즘 추론 모델은 답하기 전에 안에서 따로 추론하기 때문에 주문처럼 붙이던 문장의 효과가 줄었다고 각 회사 문서가 적었습니다.

• OpenAI는 추론 모델에 대해 "Avoid chain-of-thought prompts"라고 적고, "think step by step" 같은 지시가 불필요하며 "can sometimes hinder it", 즉 오히려 방해가 될 수 있다고 했습니다(OpenAI Reasoning best practices).
• Anthropic은 "think thoroughly" 같은 큰 방향 지시가 손으로 짠 단계 계획보다 나은 추론을 낳는 경우가 많다고 했고, 추론을 <thinking> 태그 같은 곳에 그대로 써 달라는 요청은 최신 모델에서 거절될 수 있다고 적었습니다(Anthropic Prompting best practices).
• 구글도 Gemini 2.5와 3 계열은 내부에서 생각하므로 답에 추론 단계를 늘어놓게 할 필요가 대개 없다고 했습니다(Gemini 프롬프트 전략).

CoT가 모든 문제에 듣는 것도 아닙니다. 100편 넘는 논문을 모아 본 메타분석은 CoT의 이득이 주로 수학과 논리 문제에서 나오고 다른 과제에서는 훨씬 작다고 결론 내렸습니다(Sprague et al., 2024). 원 논문도 한 단계로 풀리는 쉬운 문제에서는 개선이 "either negative or very small"이었다고 적었습니다.

AI가 화면에 쓴 풀이를 믿어도 되는 것도 아닙니다. Anthropic 연구진은 모델이 문제에 심어 둔 힌트를 쓰고도 풀이에서 그 사실을 밝힌 비율이 Claude 3.7 Sonnet 25%, DeepSeek R1 39%였다고 보고했습니다(Anthropic, 2025). 풀이가 그럴듯하다고 답이 맞는 것은 아니니, 숫자는 따로 검산해야 합니다.

그러면 시험에서 CoT는 어떻게 써야 할까요? 필자는 AI를 똑똑하게 만드는 주문이 아니라, 내가 확인할 중간값을 받아 내는 설계로 씁니다. Anthropic도 대부분의 여러 단계 추론은 모델이 안에서 처리하지만, 작업을 여러 프롬프트로 나누는 방식(프롬프트 체이닝)은 "inspect intermediate outputs", 즉 중간 결과를 확인해야 할 때 여전히 쓸모 있다고 했습니다. OpenAI도 추론 모델에는 단계를 하나하나 정해 주기보다 분명한 목표, 제약, 출력 형식을 주라고 권합니다(OpenAI Reasoning models).

그래서 아래 모범 프롬프트의 "단계"는 AI의 생각 순서를 대신 짜 주는 목록이 아니라 답에 함께 내놓아야 할 중간 결과의 목록입니다. 납품 완료일, 지체일수, 뺀 기간처럼 단계마다 값이 나와야 어느 단계에서 틀렸는지 바로 찾을 수 있습니다. 이 글에서 쓰는 CoT 프롬프트 예시의 틀은 다음과 같습니다. 아래 문제의 프롬프트는 모두 이 틀을 줄여 쓴 것이고, 가장 긴 것도 250자 안팎이라 질문 1회 1,000자 제한 안에 들어갑니다.

[역할] 너는 ○○ 담당이다.
[자료] 지문의 ○○과 이번에 첨부한 ○○만 근거로 한다. (지문은 자동 전달되니 다시 옮겨 적지 않는다)
[규칙] 시험이 준 계산 규칙, 정의
[단계] 1) … 2) … 3) …  단계마다 중간 결과와 근거(조항, 행 번호, 주문번호)를 한 줄씩 적어라.
[모르면] 주어진 정보로 판단할 수 없으면 '정보 없음'이라고 적고 추측하지 마라.

마지막 줄은 Anthropic이 환각을 줄이는 방법으로 드는 "모른다고 말할 수 있게 허락하기"와 "제공한 문서의 정보만 쓰게 하기"를 옮긴 것입니다(Anthropic Reduce hallucinations).

프롬프트 5번 배분법과 연습 규칙

필자는 프롬프트 5번을 ① 추출 ② 단계 풀이 ③ 검산·반론 ④ 답안 초안 ⑤ 요구사항 점검에 하나씩 씁니다. 한 번에 답까지 받으면 틀린 곳을 찾기 어렵고, 질문 횟수가 적은 시험에서는 열 번씩 나눠 묻기 어렵습니다. 다섯 번이면 단계마다 한 번씩 확인하고도 답안을 다듬을 여유가 남습니다.

프롬프트를 짜기 전에 시험 화면의 AI가 무엇을 기억하는지부터 알아야 합니다. 프로그래머스 응시자 가이드는 AI 어시스트 규칙을 이렇게 적었습니다(프로그래머스 응시자 가이드).

• "현재 문제의 지문이 AI에게 자동으로 전달됩니다." 지문을 프롬프트에 다시 옮겨 적을 필요가 없습니다. 다만 한 지문에 문제가 여러 개 딸리면 AI는 공통 지문만 아는 상태로 시작하므로, "특정 문제에 대한 질문은 대화창에서 문제를 선택한 뒤 입력"해야 합니다. 지문과 문제, 첨부 파일 뷰어의 글자는 복사와 붙여넣기가 막혀 있습니다.
• "질문 1회 당 최대 1,000자까지 입력할 수 있습니다." 첨부 파일은 "최대 20,000 토큰"까지입니다.
• AI는 질문 1개와 답 1개를 한 턴으로 묶어 "최근 10개 쌍의 대화 내용만 기억"합니다.
• "이전에 첨부했던 파일의 상세 내용은 대화 맥락에 포함되지 않습니다." 다음 질문에서 그 파일 내용이 필요하면 다시 첨부해야 합니다.
• 질문을 보내면 30초 쿨다운이 걸리고, 질문 횟수는 시험 종류마다 다릅니다.

같은 플랫폼으로 치른 SK하이닉스 AI 해커톤 예선에서도 "한번 첨부한 자료를 작업마다 다시 첨부해줘야한다"는 응시 후기가 나왔습니다. 이 시험의 과제에는 PDF와 이미지 자료가 딸려 있었다고 하며, 자세한 내용은 SK하이닉스 AI 해커톤 1차 예선 후기에 정리했습니다. 이 규칙은 프로그래머스 플랫폼 기준입니다. HD현대나 LG CNS 같은 회사의 시험이 이 플랫폼을 쓰는지는 공식 확인이 없으니, 회사가 사전점검을 열면 그때 같은 점을 확인하세요. 아래 문제를 풀 때 쓰는 필자의 연습 규칙은 다음과 같습니다.

1. 문항당 프롬프트 5번, 25분, 질문 1회 1,000자 이하. 남은 횟수와 시간을 메모해 두고 하나씩 지웁니다. 프로그래머스 시험 화면에는 문제별 메모 기능이 있습니다(프로그래머스 응시자 가이드: 객/주관식, 서술형).
2. 지문은 다시 옮겨 적지 않고 조항 번호나 이름으로 가리킵니다. "지문의 제9조 ③ 단서까지 적용해"처럼 씁니다. 글자 수를 아끼고, 옮겨 적다 조건을 빠뜨리는 실수도 막습니다.
3. 다음 질문에 쓸 재료는 첫 답에 미리 담게 합니다. 첨부 파일은 다음 질문에 남지 않지만, AI가 표로 옮겨 적은 답은 대화에 남습니다. 그래도 원자료와 다시 대조해야 할 때는 파일을 다시 첨부합니다.
4. 파일은 한 번에 하나만 첨부합니다. 포스코DX 응시자 한 명은 "파일도 한번에 여러개 못 넣는다"고 했습니다(독취사 응시 후기, 회원 전용). 개인정보가 든 파일과 지운 파일이 함께 있으면 지운 쪽을 고릅니다.
5. 이미지는 먼저 글자를 옮기게 하고, 그다음에 해석하게 합니다. Anthropic은 화질이 낮거나 기울었거나 200픽셀보다 작은 이미지에서 잘못 읽을 수 있다고 했고(Anthropic Vision), OpenAI는 한국어처럼 라틴 문자가 아닌 글자가 든 이미지에서 성능이 떨어질 수 있다고 적었습니다(OpenAI Images and vision). 옮긴 값은 이미지와 한 번 직접 대조합니다.
6. 프롬프트 사이마다 숫자 하나는 손으로 확인합니다. 날짜 세기, 행 하나의 점수, 합계 하나면 충분합니다.

과제형 주관식 심화 문제 5개와 CoT 풀이

아래 5문항은 필자가 만든 연습 문제입니다. 실제 시험 문항이나 기출을 복원한 것이 아닙니다. 회사, 사람, 숫자는 모두 가상이고, 답은 자료 안에서 계산되도록 만들었습니다. 채점 기준도 필자가 정한 연습용입니다. 문제와 자료를 먼저 보고 25분 동안 직접 풀어 본 뒤 모범 풀이를 보세요. 문제에 답안 분량이 없으면 필자는 프롬프트 4에서 3~5문장으로 묶었고, 풀다가 찾은 단서(과제 3의 6월 집계 기간 같은)는 문제가 묻지 않아도 답안에 넣게 했습니다.

과제 1. 납품 지연 지체상금 [지문형]

지문. 시험 화면에 글로만 주어지고 복사할 수 없다고 가정합니다.

가상 회사 C사는 D사에서 물류 센서 2,000대를 대당 6만 원, 모두 1억 2,000만 원(부가세 별도)에 사기로 했다. 납품기한은 2026년 8월 14일이다. 계약서에는 다음 조항이 있다.

• 제7조(검수) ① C사는 납품받은 날부터 5일 안에 검수한다. ② 불합격품이 있으면 D사는 통지받은 날부터 7일 안에 다시 납품하고, 재납품분이 합격한 날을 남은 물량 전체의 납품 완료일로 본다.
• 제9조(지체상금) ① D사가 납품기한을 넘기면 지체 1일마다 지체 물량 금액의 0.1%를 지체상금으로 낸다. ② 납품기한 안에 검수에 합격한 물량은 지체 물량에서 뺀다. ③ 다음 기간은 지체일수에서 뺀다. 1. C사의 사양 변경으로 늘어난 기간 2. 천재지변으로 공장을 가동하지 못한 기간. 다만 2는 D사가 그 사유가 생긴 날부터 3일 안에 서면으로 알린 경우에만 뺀다. ④ 지체상금은 계약금액의 10%를 넘지 못한다.

납품 경과(구매팀 메일 요약)는 다음과 같다.

• 8월 5일 C사가 센서 펌웨어 사양 변경을 요청했고, 8월 8일 회의에서 두 회사는 변경 반영에 4일이 더 걸린다고 합의했다.
• 8월 12일 D사가 1,200대를 납품했고, 8월 14일 검수에 합격했다.
• 8월 20~21일 태풍으로 D사 공장이 이틀 멈췄다. D사는 9월 2일 메일로 이 사실을 알렸다.
• 9월 1일 D사가 나머지 800대를 납품했고, 9월 4일 검수에서 100대가 불합격 통지됐다.
• 9월 9일 D사가 100대를 다시 납품했고, 9월 10일 합격했다.
• D사 영업 담당 메일: "태풍은 불가항력이니 이틀은 당연히 빼 주셔야 합니다."

문제. C사가 D사에 청구할 지체상금은 얼마인가? 지체 물량 금액, 납품 완료일, 지체일수(뺀 기간 포함), 근거 조항을 5문장 이내로 써라.

모범 풀이. 지문은 AI에게 자동으로 전달되므로 계약 조항을 다시 옮겨 적지 않고, 1,000자를 단계와 출력 형식에 씁니다. 첨부할 파일이 없어 1번 프롬프트가 추출과 풀이를 겸합니다.

프롬프트 1 (단계 풀이)

지문의 계약 조항(제7조, 제9조)과 납품 경과만 근거로 C사가 청구할 지체상금을 계산해라.
아래 순서로 풀고, 단계마다 중간 결과와 근거 조항을 한 줄씩 적어라. 조항의 '다만' 단서까지 확인해라.
1) 지체 물량과 금액 2) 납품 완료일 3) 달력상 지체일수 4) 지체일수에서 뺄 기간을 하나씩 판정(뺀다/못 뺀다, 이유) 5) 최종 지체일수 6) 지체상금 7) 상한 확인
지문으로 판단할 수 없으면 '정보 없음'이라고 적고 추측하지 마라.

받아야 할 중간 결과는 지체 물량 800대 4,800만 원, 납품 완료일 9월 10일, 달력상 27일, 사양 변경 4일은 빼고 태풍 이틀은 통지 기한(8월 23일)을 넘겨 못 뺌, 최종 23일, 1,104,000원, 상한 1,200만 원 이하입니다. "'다만' 단서까지 확인해라" 한 줄이 이 문항의 함정인 제9조 ③ 단서를 가리킵니다. 이 문항처럼 "다만", "~한 경우에만" 같은 단서 하나가 결론을 뒤집을 수 있어, 필자는 규정 문제마다 이 줄을 넣습니다.

프롬프트 2 (다른 경로로 검산)

방금 답을 다른 방법으로 검산해라.
1) 지체일수를 '8월에 지난 날수 + 9월에 지난 날수'로 나눠 다시 세라.
2) 지체상금을 '하루 지체상금 × 일수'로 다시 계산하라.
3) 앞 답과 다른 값이 있으면 어느 쪽이 맞는지 이유를 적어라.

8월 15~31일 17일과 9월 1~10일 10일을 더하면 27일이고, 하루 지체상금은 4,800만 원의 0.1%인 48,000원입니다. 48,000원 × 23일 = 1,104,000원으로 1번과 같아야 합니다. 날짜는 시작일을 넣느냐 빼느냐로 하루가 달라지므로 손으로도 한 번 셉니다.

프롬프트 3 (상대방 주장 점검)

D사가 두 가지를 주장한다. (가) 태풍 이틀은 불가항력이니 빼 달라. (나) 9월 4일에 합격한 700대는 그날 납품이 끝났으니 따로 계산해 달라.
각 주장을 지문의 조항과 사실만으로 받아들일 수 있는지 판정하고, 받아들인다면 금액이 얼마로 바뀌는지 계산해라.

(가)는 제9조 ③ 단서의 3일 통지 기한을 넘겨 받아들일 수 없고, 받아들이면 21일 1,008,000원이 됩니다. (나)는 제7조 ②가 재납품 합격일을 남은 물량 전체의 완료일로 정했으므로 받아들일 수 없습니다. 답안에 "왜 태풍을 빼지 않았는지"를 한 줄 넣으면 채점자가 함정을 알아봤다는 것을 바로 압니다.

프롬프트 4 (답안 초안)

지금까지 확정한 값만 써서 답안을 5문장 이내로 써라.
문장마다 근거 조항을 괄호로 붙이고, 새 계산이나 가정을 더하지 마라.

프롬프트 5 (요구사항 점검)

끝내기 전에 이 답안을 문제 요구사항으로 점검해라.
요구사항: ① 청구 금액 ② 지체 물량 금액 ③ 납품 완료일 ④ 지체일수와 뺀 기간 ⑤ 근거 조항 ⑥ 5문장 이내.
항목마다 충족/누락을 표로 적고, 누락이 있으면 고친 답안만 다시 써라.

모범 답안. "C사가 청구할 지체상금은 1,104,000원입니다. 기한 안에 합격한 1,200대를 빼면 지체 물량은 800대, 4,800만 원입니다(제9조 ①, ②). 불합격 100대를 다시 납품해 9월 10일 합격했으므로 이날이 남은 물량의 납품 완료일이고, 기한 8월 14일부터 27일이 지났습니다(제7조 ②). 사양 변경으로 늘어난 4일은 빼지만, 태풍 이틀은 사유 발생 3일 안에 서면으로 알리지 않아(9월 2일 통지) 빼지 않아 지체일수는 23일입니다(제9조 ③). 4,800만 원 × 0.1% × 23일 = 1,104,000원이고 상한(1,200만 원)보다 적습니다(제9조 ④)."

채점 기준(필자). ① 금액 1,104,000원 ② 지체 물량을 800대로 줄였는가 ③ 완료일을 9월 10일로 잡았는가 ④ 사양 변경은 빼고 태풍은 빼지 않은 이유를 썼는가 ⑤ 조항 번호를 댔는가.

과제 2. 교육 만족도 설문 분석 [첨부파일형]

첨부 2-1. survey_raw.csv (설문 원자료 17행)

응답ID,사번,부서,제출시각,Q1,Q2,Q3,의견
R01,A101,영업,10-20 09:12,4,4,2,
R02,A102,영업,10-20 09:15,5,4,1,사례가 좋았음
R03,A103,영업,10-20 09:20,3,4,4,
R04,A104,영업,10-20 09:31,4,5,2,
R05,A105,영업,10-20 10:02,2,3,5,시간이 너무 김
R06,A103,영업,10-20 13:40,4,4,2,다시 제출합니다
R07,B201,생산,10-20 09:05,4,3,4,
R08,B202,생산,10-20 09:08,3,3,5,교대 근무 후라 피곤
R09,B203,생산,10-20 09:25,4,,4,
R10,B204,생산,10-20 09:40,3,4,4,
R11,B205,생산,10-20 11:10,5,4,3,
R12,C301,연구,10-20 09:02,3,2,1,
R13,C302,연구,10-20 09:18,2,3,2,실습이 부족
R14,C303,연구,10-20 09:44,3,2,1,
R15,C304,연구,10-20 10:30,1,1,3,
R16,C304,연구,10-20 15:05,3,3,2,앞 응답은 실수
R17,C305,연구,10-20 10:50,,3,2,

첨부 2-2. 설문 안내 (시험 화면의 지문)

• Q1 강의 내용이 업무에 도움이 됐다. Q2 강사의 설명이 이해하기 쉬웠다. Q3 교육 시간이 너무 길었다.
• 1(전혀 아니다)~5(매우 그렇다) 척도다. Q3는 역문항이므로 6에서 뺀 값으로 바꿔 계산한다.
• 같은 사번이 두 번 이상 냈으면 마지막 제출만 쓴다. 빈칸은 그 문항 계산에서만 뺀다.
• 개인 점수는 답한 문항(역문항 변환 후)의 평균, 부서 점수는 개인 점수의 평균이다.

문제. 부서별 만족도를 소수 둘째 자리까지 구하고, 가장 낮은 부서와 그 부서에서 가장 낮은 문항을 근거로 개선 제안을 3문장으로 써라.

모범 풀이. 설문 안내는 지문이라 AI에게 자동으로 전달되므로 "지문의 설문 안내 규칙대로"로 가리키고, CSV만 첨부합니다. 첨부 파일은 다음 질문에 남지 않으므로, 2번과 3번에서 쓸 재료(지운 행의 부서와 원점수, 의견)를 1번 답에 미리 담게 합니다.

프롬프트 1 (단계 풀이)

[첨부: survey_raw.csv]
지문의 설문 안내 규칙대로 부서별 만족도를 구해라. 단계마다 결과를 표로 보여 주고 다음 단계로 넘어가라.
1단계: 같은 사번의 중복 제출을 찾아, 지운 행의 응답ID, 부서, 원점수(Q1, Q2, Q3)
2단계: 남은 행마다 응답ID, 부서, Q1, Q2, Q3, Q3 변환값, 개인 점수(소수 셋째 자리), 의견
3단계: 부서별 인원과 부서 점수(소수 둘째 자리)
4단계: 부서별·문항별 평균(Q3는 변환값)

받아야 할 중간 결과는 지운 행 R03, R15(같은 사번이 먼저 낸 응답), 남은 15명, 영업 3.80, 생산 3.07, 연구 3.30, 생산의 문항별 평균 Q1 3.80, Q2 3.50(빈칸 1명 제외), Q3 변환 2.00입니다. 손으로는 R08 한 줄만 확인합니다. Q3 5점은 1로 바뀌어 (3+3+1)÷3 = 2.333입니다.

프롬프트 2 (규칙을 지켰는지 검산)

검산하자. 1번 답의 표(지운 행 포함)만 써서 (a) Q3를 바꾸지 않았을 때 (b) 중복을 지우지 않았을 때의 부서 점수를 각각 구하고, 가장 낮은 부서가 바뀌는지 표로 보여 줘. 빈칸이 있는 행의 응답ID도 적어라.

(a)에서는 연구가 2.30으로, (b)에서는 연구가 3.03으로 가장 낮아집니다. 규칙 하나만 빠뜨려도 결론이 생산에서 연구로 뒤집힌다는 뜻입니다. 1번 답이 (a)나 (b)와 같은 값이면 AI가 규칙을 적용하지 않은 것입니다. 빈칸은 R09(Q2)와 R17(Q1)입니다. 1번 표에 지운 행의 원점수를 담아 두었기 때문에 파일을 다시 첨부하지 않고도 (b)를 계산할 수 있습니다.

프롬프트 3 (원자료 다시 첨부해 대조)

[첨부: survey_raw.csv]
원자료를 다시 첨부했다. 가장 낮은 부서의 행을 원자료에서 찾아 원점수(Q1, Q2, Q3)와 '의견'을 고치지 말고 그대로 옮기고, 1번 답의 같은 행 값과 다른 곳이 있는지 대조해라.

생산 부서의 Q3 원점수는 4, 5, 4, 4, 3으로 대부분 "교육 시간이 너무 길었다"에 동의했고, 의견은 R08의 "교대 근무 후라 피곤" 하나뿐입니다. 1번 표는 AI가 옮긴 것이므로, 답의 근거가 될 부서만은 원자료를 다시 붙여 한 번 더 대조합니다. 개선 제안은 이 원문에서만 끌어내야 합니다.

프롬프트 4 (답안 초안)

확정한 값만 써서 3문장 답안을 써라. ① 부서별 점수 ② 가장 낮은 부서와 그 부서에서 가장 낮은 문항(변환 점수)
③ 원자료 의견에 근거한 개선 제안 1개. 원자료에 없는 원인을 쓰면 '추정'이라고 표시해라.

프롬프트 5 (요구사항 점검)

끝내기 전에 이 답안을 문제 요구사항으로 점검해라.
요구사항: ① 세 부서 점수(소수 둘째 자리) ② 최저 부서 ③ 최저 문항과 점수 ④ 원자료 근거가 있는 개선 제안 ⑤ 3문장.
항목마다 충족/누락을 표로 적고, 누락이 있으면 고친 답안만 다시 써라.

모범 답안. "중복 제출(R03, R15)을 지우고 역문항 Q3를 바꿔 계산한 부서별 만족도는 영업 3.80점, 생산 3.07점, 연구 3.30점입니다. 가장 낮은 생산 부서는 Q3 '교육 시간이 너무 길었다'의 변환 점수가 2.00점으로 가장 낮고, 응답 5명 중 4명이 4점 이상으로 동의했습니다. 생산 부서 의견에 '교대 근무 후라 피곤'이 있으니, 생산 부서 교육은 교대 근무 직후를 피하고 시간을 줄여 나눠 진행하기를 제안합니다(의견이 1건뿐이라 원인은 추가 확인이 필요합니다)."

채점 기준(필자). ① 세 부서 점수 ② 최저 부서를 생산으로 찾았는가 ③ 최저 문항 Q3와 2.00점 ④ 원자료 의견에서 나온 제안인가 ⑤ 근거가 한 건뿐이라는 한계를 밝혔는가.

과제 3. 반품률 그래프 판독 [이미지형]

첨부 3-1. 품질관리팀 회의 슬라이드(이미지)

문제. 슬라이드 제목 "상반기 반품률 4배 급증"이 맞는지 판단하고, 1월 대비 반품률 변화를 %p와 증가율(%)로 쓰고, 제목을 사실에 맞게 고쳐 써라.

모범 풀이. 이미지형은 해석보다 판독을 먼저 시킵니다. AI가 숫자를 잘못 읽으면 그 뒤 계산은 모두 틀리기 때문입니다. 판독을 먼저 시키는 이유가 하나 더 있습니다. 첨부한 이미지는 다음 질문에 남지 않지만, AI가 옮겨 적은 글자는 대화에 남아 2번부터는 이미지를 다시 붙이지 않아도 됩니다.

프롬프트 1 (판독만)

[첨부: 반품률_슬라이드.png]
해석하지 말고 이 이미지에 보이는 글자와 숫자만 옮겨 적어라.
1) 제목과 부제 2) 세로축 최솟값·최댓값·눈금 간격 3) 막대마다 월과 데이터 레이블 4) 각주와 작은 글씨 전부
읽기 어려운 곳은 '판독 불가'로 적고 짐작하지 마라.

받아야 할 것은 세로축 4.0~5.0%(0.2 간격), 막대 4.2·4.3·4.4·4.5·4.7·4.8%, 각주 "6월은 6월 15일까지 집계"입니다. 옮긴 값을 이미지와 한 번 대조합니다. 특히 각주처럼 작은 글씨를 빠뜨리지 않았는지 봅니다.

프롬프트 2 (단계 풀이)

1번에서 옮긴 숫자만 써서 단계별로 계산해라. 단계마다 식을 같이 적어라.
1) 1월→6월 변화(%p)와 증가율(%)
2) 각주를 반영해 온전한 달끼리(1월→5월) 다시 계산
3) 세로축 시작값을 기준으로 1월과 6월 막대 길이의 비율
4) 제목의 '4배'가 무엇을 보고 나온 말인지 판정

1월 4.2%에서 6월 4.8%는 0.6%p, 증가율 0.6 ÷ 4.2 = 14.3%입니다. 6월은 보름치라 온전한 달끼리 비교하면 1월에서 5월까지 0.5%p, 11.9%입니다. 세로축이 0이 아니라 4.0%에서 시작해서 1월 막대 길이는 0.2, 6월은 0.8로 4배가 됩니다. 제목의 "4배"는 값이 아니라 잘린 축에서 생긴 막대 길이입니다.

프롬프트 3 (반대 해석 점검)

반대 입장에서 점검해라. '4배'가 맞을 수 있는 해석(예: 반품 건수, 다른 기준)의 근거가 1번에서 옮긴 슬라이드 글자 안에 있는가? 있으면 그 글자를 인용하고, 없으면 '슬라이드에 근거 없음'이라고 적어라.

부제가 반품률을 "반품 건수 ÷ 출고 건수"로 정의했을 뿐 건수 자료는 없으므로, 슬라이드 안에는 "4배"의 근거가 없습니다. 이 단계는 내 판정이 섣부르지 않았는지 확인하는 용도입니다.

프롬프트 4 (답안 초안)

확정한 값만 써서 답안을 써라. ① 제목이 맞는지 판정 ② 변화를 %p와 %로 ③ 6월 집계 기간에 대한 단서
④ 사실에 맞게 고친 제목 1개. 3문장과 제목 한 줄.

프롬프트 5 (요구사항 점검)

끝내기 전에 이 답안을 문제 요구사항으로 점검해라.
요구사항: ① 판정과 이유(세로축) ② %p ③ % ④ 6월 단서 ⑤ 고친 제목에 과장이 없는지.
항목마다 충족/누락을 표로 적고, 누락이 있으면 고친 답안만 다시 써라.

모범 답안. "제목의 '4배 급증'은 틀렸습니다. 세로축이 4.0%에서 시작해 막대 길이만 4배로 보일 뿐, 반품률은 1월 4.2%에서 6월 4.8%로 0.6%p, 14.3% 올랐습니다. 6월은 15일까지만 집계했으므로 온전한 달끼리 비교하면 1월에서 5월까지 0.5%p(11.9%) 상승입니다." 고친 제목: "반품률 1월 4.2%에서 5월 4.7%로 0.5%p 상승(6월은 15일까지 집계)".

채점 기준(필자). ① "4배"가 틀렸다는 판정과 세로축 이유 ② 0.6%p ③ 14.3% ④ 6월 반달 집계를 짚었는가 ⑤ 고친 제목에 숫자가 맞고 과장이 없는가.

과제 4. 출장 영수증 정산 [이미지 + 지문형]

첨부 4-1. 영수증 3장(이미지)

지문 4-2. 경비 규정 발췌와 출장 보고

• 출장 기간 밖의 영수증은 정산하지 않는다. 금액은 부가세를 포함한 결제 금액 기준이다.
• 고객 접대 식대는 참석자 1인당 5만 원까지 정산한다. 참석자 수는 출장 보고서의 참석자 명단으로 센다. 주류 금액은 정산하지 않는다.
• 택시비는 출장 기간 중 승차 시각이 22시 이후인 경우만 정산한다.
• 출장 보고: 출장 기간 2026년 10월 14~15일. 10월 14일 저녁 고객 미팅 참석자는 고객사 2명, 우리 회사 2명(본인 포함).

문제. 영수증 3장 가운데 정산되는 금액과, 정산되지 않는 금액을 항목별 사유와 함께 써라.

모범 풀이. 이미지와 지문이 섞이면, 이미지는 1번에서 글자로 옮기고 2번에서 그 표와 지문의 규정을 맞대게 합니다. 지문은 자동으로 전달되므로 규정을 다시 적지 않습니다.

프롬프트 1 (판독과 합계 대조)

[첨부: 영수증.png]
영수증 3장을 해석 없이 표로 옮겨라. 열: 영수증 번호(왼쪽부터 1~3), 가게, 날짜·시각(택시는 승차와 하차 따로),
품목, 수량, 금액, 합계. 영수증에 적힌 공급가액, 부가세, 인원도 옮겨라.
옮긴 뒤 영수증마다 품목 금액 합이 '합계'와 같은지 계산해 같음/다름을 적어라.
흐리거나 안 보이는 글자는 '판독 불가'.

영수증의 품목 합과 합계가 같은지 보게 하는 것은 판독 검증을 AI에게 함께 맡기는 방법입니다. 172,000 + 16,000 + 18,000 + 14,000 = 220,000원, 9,000 + 3,500 = 12,500원으로 맞으면 숫자를 잘못 읽었을 가능성이 줄어듭니다.

프롬프트 2 (규정 적용 단계 풀이)

1번에서 옮긴 표와 지문의 경비 규정, 출장 보고만 근거로 영수증마다 정산 금액을 단계별로 판정해라. 영수증의 '인원'과 출장 보고 명단이 다르면 규정이 어느 쪽으로 세라고 하는지 먼저 판정해라.
영수증마다 1) 출장 기간 안인가 2) 적용 규정 3) 빼는 금액과 이유 4) 정산 금액. 마지막에 정산 합계와 불인정 합계.

"영수증의 '인원'과 출장 보고 명단이 다르면 규정이 어느 쪽으로 세라고 하는지 먼저 판정해라"는 두 자료가 어긋나는 지점을 짚어 주되 답은 정해 주지 않는 문장입니다. 영수증에는 인원 5가 찍혀 있지만 규정은 참석자 명단으로 세라고 했으므로 한도는 4명 × 5만 원 = 20만 원입니다. 주류를 바르게 빼면 식대 188,000원이 어느 한도보다도 적어 정산 금액은 같지만, 주류를 빼지 않으면 200,000원과 220,000원으로 갈리고, 답안에 쓸 근거 문장도 달라집니다. 받아야 할 값은 식대 220,000 − 주류 32,000 = 188,000원(한도 안), 택시 0원(승차 21시 35분), 카페 0원(10월 16일), 정산 합계 188,000원, 불인정 62,900원입니다.

프롬프트 3 (검산과 해석 차이)

검산과 반론 점검을 해라.
1) 청구 총액(영수증 합계 3개의 합)이 정산 합계 + 불인정 합계와 같은지 확인하고,
불인정 금액을 사유별로 나눠 합이 맞는지 보여 줘.
2) 해석이 갈릴 만한 곳 세 가지(택시 하차 시각, 한도 계산 인원, 공급가액과 합계)마다
규정 문장이 어느 해석을 지지하는지 적고, 다른 해석을 택하면 금액이 얼마가 되는지 계산해라.

청구 총액 250,900원 = 188,000원 + 62,900원이고, 불인정은 주류 32,000원, 택시 18,400원, 카페 12,500원입니다. 해석 차이는 셋 다 규정 문장이 정답 쪽을 지지합니다. 택시는 "승차 시각", 인원은 "참석자 명단", 금액은 "부가세를 포함한 결제 금액"이라고 적혀 있습니다.

프롬프트 4 (답안 초안)

확정한 값만 써서 답안을 써라. ① 정산 금액 ② 불인정 금액을 항목별 사유와 함께 ③ 3문장 이내.

프롬프트 5 (요구사항 점검)

끝내기 전에 이 답안을 문제 요구사항으로 점검해라.
요구사항: ① 정산 금액 ② 불인정 항목 3개와 금액 ③ 항목별 사유(규정 근거) ④ 3문장 이내.
항목마다 충족/누락을 표로 적고, 누락이 있으면 고친 답안만 다시 써라.

모범 답안. "청구한 250,900원 가운데 정산되는 금액은 10월 14일 고객 미팅 식대 188,000원입니다. 식대 220,000원에서 주류 32,000원을 빼면 188,000원이고, 한도는 영수증의 인원 5가 아니라 참석자 명단 4명 기준 200,000원이라 전액 인정됩니다. 정산되지 않는 금액은 62,900원으로, 주류 32,000원(주류 미정산), 택시 18,400원(승차 21시 35분으로 22시 이전), 카페 12,500원(10월 16일로 출장 기간 밖)입니다."

채점 기준(필자). ① 188,000원 ② 불인정 세 항목과 62,900원 ③ 택시를 하차가 아닌 승차 시각으로 판정했는가 ④ 한도를 명단 4명으로 잡았는가.

과제 5. 캠페인 성과 보고서 검증 [여러 파일형]

자료. 시험 화면에 파일 3개와 지문이 있다.

• 5-1. 캠페인_결과보고.pdf (마케팅팀, 10월 15일): "VIP 고객 40명에게 10월 6일 쿠폰(VIP10) 문자 발송, 수신 실패 4명. 10월 6~12일 구매 고객 15명, 전환율 37.5%(15 ÷ 40), 캠페인 매출 1,415,000원. 목표 전환율 30%를 넘었으므로 11월에 같은 방식으로 확대를 제안함."
• 5-2. 주문내역_원본.xlsx: 열은 주문번호, 고객명, 휴대폰, 고객ID, 주문일, 쿠폰, 금액, 상태. 고객 이름과 휴대폰 번호가 들어 있다.
• 5-3. 주문내역_마스킹.csv: 5-2에서 고객명과 휴대폰을 지운 파일. 내용은 아래와 같다.

주문번호,고객ID,주문일,쿠폰,금액,상태
O01,V03,10-06,VIP10,120000,결제완료
O02,V07,10-06,VIP10,85000,결제완료
O03,V07,10-08,VIP10,40000,결제완료
O04,V11,10-07,,64000,결제완료
O05,V12,10-07,VIP10,150000,취소
O06,V15,10-08,VIP10,98000,결제완료
O07,V18,10-08,VIP10,72000,결제완료
O08,V21,10-09,,55000,결제완료
O09,V22,10-09,VIP10,130000,결제완료
O10,V25,10-10,VIP10,66000,결제완료
O11,V29,10-10,VIP10,210000,취소
O12,V31,10-11,VIP10,90000,결제완료
O13,V33,10-11,VIP10,45000,결제완료
O14,V36,10-12,VIP10,110000,결제완료
O15,V38,10-12,,80000,결제완료

• 지문 5-4. 사내 지침: 고객 이름과 연락처가 든 파일은 외부 AI에 올리지 않는다. 전환율은 쿠폰을 써서 결제 완료한 고객 수를 문자 수신에 성공한 고객 수로 나눈 값이다. 캠페인 매출은 쿠폰을 쓴 결제 완료 주문의 금액 합이다.

문제. 보고서의 전환율과 캠페인 매출을 원자료로 검증하고, 팀장에게 보낼 정정 보고를 3문장으로 써라. 마지막 줄에 AI에 첨부한 파일과 그 이유를 한 줄로 적어라.

모범 풀이. 첫 판단은 프롬프트를 쓰기 전에 합니다. 원본과 마스킹본은 계산에 필요한 열(고객ID, 쿠폰, 금액, 상태)이 같으므로 마스킹본을 첨부합니다. 파일은 한 번에 하나라서 1번에는 마스킹본, 2번에는 보고서를 붙입니다. 1번의 계산 결과는 대화에 남으므로 2번에서 마스킹본을 다시 붙일 필요가 없습니다. 개인정보를 덜어 내는 판단은 전편의 보안과 출처 판단 과제에서도 다뤘습니다.

프롬프트 1 (정의대로 단계 풀이)

[첨부: 주문내역_마스킹.csv]
캠페인 기간(10/6~10/12) 주문 원자료다. 지문의 사내 지침 정의대로 계산한다. 문자 수신에 성공한 고객은 36명(발송 40명 중 수신 실패 4명)이다.
단계별로 풀고 단계마다 해당 주문번호와 금액을 함께 적어라.
1) 전체 행 수와 고유 고객 수 2) 쿠폰 없는 주문, 취소 주문 3) 남은 주문과 고유 고객 수(같은 고객의 여러 주문은 1명) 4) 전환율 5) 캠페인 매출

받아야 할 중간 결과는 15행에 고객 14명, 쿠폰 없음 O04·O08·O15, 취소 O05·O11, 남은 10건에 고객 9명(V07이 두 번 주문), 전환율 9 ÷ 36 = 25.0%, 매출 856,000원입니다. 주문번호와 금액을 함께 적게 하면 빠진 행이나 두 번 센 행을 바로 찾을 수 있고, 2번에서 차이를 나눌 재료도 대화에 남습니다.

프롬프트 2 (보고서 숫자 역추적)

[첨부: 캠페인_결과보고.pdf]
마케팅팀 보고서다. 1번 결과와 비교해 보고서의 구매 고객 수, 전환율, 캠페인 매출이 무엇을 세어 나온 값인지 역으로 맞춰 보고, 차이의 원인을 항목별 인원과 금액으로 나눠라. 나눈 금액의 합이 차이와 같은지도 확인해라.

보고서의 15는 고객 수가 아니라 주문 15건 전체이고(고유 고객은 14명), 분모 40은 수신 실패 4명을 포함한 발송 수입니다. 1,415,000원은 전체 주문 합으로, 쿠폰 없는 주문 199,000원과 취소 360,000원이 섞였습니다. 856,000 + 199,000 + 360,000 = 1,415,000원으로 차이가 정확히 나뉘어야 합니다.

프롬프트 3 (정의에 따른 민감도)

정의를 하나씩 바꿨을 때 전환율이 어떻게 달라지는지 표로 보여 줘.
(a) 고유 고객 수 ÷ 발송 40명 (b) 결제 완료 쿠폰 주문 건수 ÷ 수신 36명 (c) 정의대로.
각 경우 목표 30%와 비교해 결론이 바뀌는지 적어라.

(a) 9 ÷ 40 = 22.5%, (b) 10 ÷ 36 = 27.8%, (c) 25.0%로, 어느 정의를 써도 목표 30%에 못 미칩니다. 정정 보고에서 "정의를 어떻게 잡든 목표 미달"이라고 쓸 수 있는 근거가 이 단계에서 나옵니다.

프롬프트 4 (정정 보고 초안)

확정한 값만 써서 팀장에게 보낼 정정 보고를 3문장으로 써라.
① 바로잡은 전환율과 매출 ② 보고서와 달라진 원인 ③ 11월 확대 판단에 주는 영향.
원자료로 확인할 수 없는 것은 확인할 수 없다고 적어라.

마지막 줄의 첨부 파일 설명은 필자는 AI에게 맡기지 않고 직접 씁니다. 어떤 파일을 왜 넘겼는지, 원본은 왜 넘기지 않았는지는 응시자가 내린 판단이기 때문입니다.

프롬프트 5 (요구사항 점검)

끝내기 전에 이 답안을 문제 요구사항으로 점검해라.
요구사항: ① 정정 전환율 ② 정정 매출 ③ 차이 원인(분모, 취소, 쿠폰 미사용, 건수와 고객 수) ④ 확대 판단 ⑤ 3문장.
항목마다 충족/누락을 표로 적고, 누락이 있으면 고친 답안만 다시 써라.

모범 답안. "10월 VIP 문자 캠페인의 전환율은 보고서의 37.5%가 아니라 25.0%(쿠폰으로 결제 완료한 고객 9명 ÷ 수신 성공 36명)이고, 캠페인 매출은 1,415,000원이 아니라 856,000원입니다. 보고서는 주문 15건을 고객 수로 셌고, 수신 실패 4명을 분모에 넣었으며, 쿠폰 없는 주문 199,000원과 취소 주문 360,000원을 매출에 포함했습니다. 분모를 발송 40명으로 잡거나 주문 건수로 세어도 전환율은 22.5~27.8%로 목표 30%에 못 미치므로, 11월 확대는 이 결과만으로는 근거가 부족합니다." 첨부 파일: "주문내역_마스킹.csv와 캠페인_결과보고.pdf를 한 번에 하나씩 첨부했고, 고객명과 휴대폰이 든 주문내역_원본.xlsx는 올리지 않았습니다(계산에 필요한 열이 마스킹본과 같고, 사내 지침상 개인정보 파일은 외부 AI에 올리지 않음)."

채점 기준(필자). ① 25.0% ② 856,000원 ③ 차이 원인 네 가지 가운데 셋 이상 ④ 확대 판단을 고쳤는가 ⑤ 원본 파일을 올리지 않았는가. 필자는 ⑤를 어기면 계산이 맞아도 큰 감점을 줍니다. 프로그래머스가 어떤 자료를 어디까지 AI에게 넘길지 판단하는 것 자체를 평가 대상으로 밝혔기 때문입니다.

모범 프롬프트를 실제 AI에 넣어 본 결과

필자가 2026년 10월 26일 모범 프롬프트를 Claude Opus 5.5와 Claude Haiku 5.5에 넣어 보니, 두 모델 모두 다섯 과제의 최종 답을 정답과 같게 냈습니다. Claude Code의 claude -p 명령으로 "시험 화면의 AI" 역할만 주고, 두 가지 방식으로 돌렸습니다.

• 규칙 흉내 실행: 프로그래머스 응시자 가이드의 규칙을 흉내 냈습니다. 지문과 문제는 질문마다 AI에게 자동으로 넘기고, 첨부 파일은 그 질문에만 넣고, 이전 질문과 답만 최근 10턴까지 남겼습니다. 질문마다 빈 폴더에서 돌려 첨부하지 않은 파일은 모델이 열 수 없게 했고, 캠페인_결과보고.pdf는 같은 글자를 담은 텍스트 파일로 대신했습니다. 처음 돌릴 때는 모델이 작업 폴더의 원본 파일을 직접 열 수 있다는 것을 뒤늦게 알아, 그 결과는 버리고 다시 돌렸습니다.
• 직접 붙인 실행: 지문이 AI에게 자동으로 넘어가지 않는 시험을 가정했습니다. 응시자가 질문 한 번에 지문과 문제, 자료를 통째로 붙이거나(한 방 질문), 지문을 요약해 옮겨 적은(단서 누락 실험) 경우입니다. 실제 시험은 복사가 막혀 있어 통째로 붙이기는 어렵지만, 비교를 위해 돌렸습니다.

정답은 문제가 요구한 값(지체상금, 부서 점수와 최저 부서, %p와 증가율, 정산 금액과 불인정 금액, 전환율과 매출)으로 셌습니다. 모델마다 2~3회씩만 돌린 결과라 정답률로 읽으면 안 됩니다. 필자의 연습 문제는 실제 시험보다 자료가 작을 가능성이 크고, 시험 안의 AI가 어떤 모델인지도 공개되지 않았습니다. 그래도 결과에서 읽을 것은 세 가지입니다.

첫째, 이 정도 크기의 자료에서 Opus 5.5와 Haiku 5.5는 필자가 넣은 함정을 대부분 혼자 피했습니다. 단계를 나누지 않은 한 방 질문 60회 가운데 59회가 문제가 요구한 값을 맞혔습니다. 틀린 1회는 Haiku 5.5가 과제 4에서 정산 금액 188,000원은 맞히고 불인정 합계를 63,000원으로 잘못 더한 것입니다(정답 62,900원). 답에 곁들인 숫자까지 보면 2회가 더 틀렸습니다. 과제 4의 3번 프롬프트에 "청구 총액 = 정산 합계 + 불인정 합계"를 검산하게 한 이유가 이런 실수입니다.

둘째, AI에게 지문이 없으면 사람이 옮기며 빠뜨린 단서가 그대로 오답이 됐고, 지문이 자동으로 넘어가면 AI가 원문을 따랐습니다. "3일 안에 서면 통지한 경우만"이라는 단서 하나를 빠뜨린 요약만 받은 경우 두 모델 합쳐 6회(모델당 3회) 모두 1,008,000원을 냈습니다. 같은 요약을 지문이 자동으로 넘어가는 상태에서 덧붙였을 때는 6회 모두 1,104,000원이 나왔고, Opus 5.5는 3회 모두 "질문에 적힌 조건에는 단서가 빠져 있어 지문 원문을 기준으로 계산했다"는 취지로 짚었습니다. 프로그래머스처럼 지문이 자동으로 넘어가는 시험이라면 지문을 다시 옮겨 적지 말고 조항 번호로 가리키는 편이 안전합니다. 지문이 넘어가는지 모르는 시험이라면 사전점검에서 먼저 확인하세요.

셋째, 첨부 파일이 다음 질문에 남지 않는 규칙에서는 재료를 미리 받아 두지 않으면 같은 것을 다시 물어야 합니다. 지운 행의 점수를 1번 답에 받아 두지 않고, 2번에서 파일 없이 "같은 원자료로 중복을 지우지 않으면"을 물었더니, 두 모델 합쳐 6회 모두 Q3를 바꾸지 않은 경우는 계산했지만 중복을 넣은 경우는 값을 지어내지 않고 "원자료를 다시 첨부해 달라"거나 "두 행의 값을 알려 달라"고 답했습니다. 정직한 답이지만, 횟수가 정해진 시험에서는 그 부분을 묻는 데 질문을 하나 더 써야 합니다. 모범 풀이처럼 1번 답에 지운 행의 부서와 원점수까지 담게 하면, 네 번(모델당 2회) 모두 2번에서 파일 없이 바로 계산했습니다.

한 방 질문이 대부분 맞았다고 다섯 번 나눠 묻는 의미가 없어지지는 않습니다. 프로그래머스 운영사 그렙이 밝힌 베타 테스트(2026년 상반기 고객사 응시 데이터)에서는 결과 점수가 71점으로 같았던 두 응시자가 과정 점수 60점과 22점으로 갈렸습니다(프로그래머스 인사이트). 국내 플랫폼 구름이 한 대기업 개발직 응시자 426명을 분석한 결과에서도, AI에게 풀이 검토나 반례를 요청하며 결과를 확인한 응시자는 고득점자의 70%, 저득점자의 43%였다고 합니다(서울신문, 2026-10-19). 개발직 알고리즘 시험이고 업체 분석이라 그대로 옮길 수는 없지만, 중간값을 꺼내 확인한 대화 기록이 채점자에게 검증했다는 증거로 남는다는 점은 같습니다.

출처

1. 프로그래머스 인사이트: programmers.co.kr/ai-assessment/insight/why-we-built-ai-assessment
2. 프로그래머스 응시자 가이드: user-guide.grepp.co/ko/articles/AI-역량평가-0ff4a226
3. 프로그래머스 인사이트: programmers.co.kr/ai-assessment/insight/ai-assessment-hiring-stage-plac…
4. Wei et al., 2022: arxiv.org/abs/2201.11903
5. Kojima et al., 2022: arxiv.org/abs/2205.11916
6. OpenAI Reasoning best practices: developers.openai.com/api/docs/guides/reasoning-best-practices
7. Anthropic Prompting best practices: platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude…
8. Gemini 프롬프트 전략: ai.google.dev/gemini-api/docs/prompting-strategies
9. Sprague et al., 2024: arxiv.org/abs/2409.12183
10. Anthropic, 2025: anthropic.com/research/reasoning-models-dont-say-think
11. OpenAI Reasoning models: developers.openai.com/api/docs/guides/reasoning
12. Anthropic Reduce hallucinations: platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/red…
13. 프로그래머스 응시자 가이드: 객/주관식, 서술형: user-guide.grepp.co/ko/articles/객주관식서술형-82b897e4
14. 독취사 응시 후기, 회원 전용: cafe.naver.com/dokchi/13356440
15. Anthropic Vision: platform.claude.com/docs/en/build-with-claude/vision
16. OpenAI Images and vision: developers.openai.com/api/docs/guides/images-vision
17. 서울신문, 2026-10-19: n.news.naver.com/mnews/article/081/0003690381