우리는 우리 속도를 못 잰다

에이전트와 일하는 프런트엔드 #5 — 19% 느려졌다는 그 연구가 1년 뒤 어떻게 됐는지, 그리고 왜 연구팀 본인이 결과를 물렸는지 정리해 볼게요.

"AI 쓰면 개발자가 19% 느려진대." 이 문장을 올해 몇 번 보셨을 거예요. 출처는 METR이 2025년 7월에 낸 무작위 대조 실험인데요, 저도 한동안 이 숫자를 그대로 인용했습니다.

그런데 이 연구는 그 뒤로 두 번 더 움직였어요. 움직인 내용이 원래 결과보다 중요한데요, 이 글에서는 그 19%가 1년 뒤 어떻게 됐는지, 그리고 왜 연구팀이 자기 측정을 물렸는지 정리해 볼게요.

널리 인용되는 19%가 어디서 왔는지부터

조건을 먼저 보고 가는 게 좋겠어요. 나중에 이야기가 뒤집히는 지점이 전부 이 조건 안에 있거든요.

METR은 경험 많은 오픈소스 기여자 16명에게 자기가 평소 유지보수하는 저장소의 이슈 246개를 맡겼어요. 별 22,000개 이상, 코드 100만 줄 이상 되는 저장소들이었고, 과제 하나는 평균 두 시간짜리였습니다. 과제마다 AI 사용 허용과 금지를 무작위로 배정했어요.

도구는 당시 최신이던 Cursor Pro에 Claude 3.5와 3.7 Sonnet이었고, 참가자들은 LLM을 이미 수십에서 수백 시간 써본 사람들이었어요.

결과는 AI를 쓴 과제가 19% 더 오래 걸렸다는 것이었습니다. 신뢰구간은 +2%에서 +39%였어요.

끝나고 나서도 빨라졌다고 믿었어요

여기까지는 많이 알려진 이야기인데요, 정작 중요한 건 다음 숫자입니다.

참가자들은 실험 전에 AI가 자기를 24% 빠르게 해줄 거라고 예상했어요. 그럴 수 있죠. 그런데 실험이 끝난 뒤에도, 그러니까 자기가 실제로 그 과제들을 다 해본 다음에도, AI가 자기를 20% 빠르게 했다고 답했습니다.

실제로는 19% 느려졌는데요. 인식과 측정 사이에 40퍼센트포인트가 벌어진 거예요.

자기가 방금 한 일인데도, 그게 얼마나 걸렸는지는 모릅니다.

이 시리즈에서 계속 나오던 장면이에요. 2편에서는 AI가 쓴 코드의 40%에 취약점이 있었는데 정작 본인들은 자기 코드가 더 안전하다고 믿었고, 4편에서는 검토 도구가 판정을 내려주자 사람이 판정을 검토하는 대신 확인만 하게 됐어요. 속도도 같은 자리에 있었습니다.

1년 뒤 같은 팀이 다시 쟀어요

METR은 2025년 후반에 규모를 키워 다시 측정했어요. 개발자 57명, 저장소 143개, 과제 800개 이상. 첫 연구의 3배가 넘는 규모입니다.

숫자를 비교해 볼게요.

시기	표본	속도 변화	신뢰구간
2025 초 (원 연구)	16명 · 246과제	19% 느려짐	+2% ~ +39%
2025 후반 · 기존 참가자	10명	18% 느려짐	−38% ~ +9%
2025 후반 · 신규 참가자	47명	4% 느려짐	−15% ~ +9%

느려지는 폭이 19%에서 4%로 줄었어요. 그런데 눈여겨볼 건 줄어든 숫자가 아니라 오른쪽 칸입니다.

두 신뢰구간이 모두 0을 지나가요. 이건 "효과가 없다"는 뜻이 아니라 "이 연구로는 빨라졌는지 느려졌는지 말할 수 없다"는 뜻이에요. 자주 헷갈리는 지점인데요, 유의하지 않다는 건 결론이 아니라 결론의 부재입니다.

그런데 연구팀이 이 결과를 물렸어요

여기가 이 글의 핵심이에요.

2026년 2월, METR은 실험 설계를 바꾸겠다고 공개 발표했어요. 새 측정치가 신뢰할 만하지 않다고 스스로 판단했거든요. 이유가 세 가지였습니다.

첫째, 참가를 거절하는 개발자가 늘었어요. AI 없이 일하는 조건 자체를 받아들이고 싶지 않다는 이유였습니다. 1년 전에는 그냥 실험 조건이던 것이 이제는 손해로 느껴지게 된 거예요.

둘째, 참가한 사람들도 과제를 골랐어요. 참가자의 30~50%가 AI가 가장 도움될 것 같은 과제를 아예 제출하지 않았습니다. AI 금지 조건에 걸릴까 봐요.

셋째, 시급이 시간당 150달러에서 50달러로 내려갔어요. 누가 참가할지가 또 한 번 걸러졌습니다.

세 가지를 합치면 결론은 하나예요.

AI를 가장 잘 쓰는 사람과, AI가 가장 잘 먹히는 일이, 표본에서 체계적으로 빠졌습니다.

METR은 실제로는 그동안 생산성 향상이 생겼을 가능성이 높다고 보면서도, 자기들 데이터로는 그걸 잴 수 없다고 적었어요. 2026년 5월에 낸 설문에서는 기술직 349명이 AI 덕분에 일의 가치가 1.4~2배, 속도는 중앙값 3배가 됐다고 답했는데요, 같은 문서에서 설문 추정치는 현장 실험보다 늘 크게 나온다고 자기들이 먼저 적어놨습니다.

그러니까 지금 상태는 이래요. 측정치는 방향을 말하지 못하고, 자기 보고는 믿을 수 없다고 측정한 쪽이 말하고 있습니다.

선택 편향은 임상에서 가장 오래된 적이에요

제가 일하는 쪽은 임상시험 시스템인데요, METR이 겪은 일에는 이미 이름이 다 붙어 있습니다. 100년 가까이 같은 문제와 싸워온 분야라서요.

• 참가를 거절하는 사람이 특정 성향으로 쏠린다 → 선택 편향(selection bias). 그래서 배정을 무작위로 하고, 누가 왜 빠졌는지를 따로 보고합니다.
• 참가자가 조건에 맞춰 행동을 바꾼다 → 비순응(non-adherence). 그래서 배정된 대로 분석해요(ITT). 중간에 이탈한 사람을 빼고 계산하면 남은 사람들만으로 좋은 숫자가 나오니까요.
• 자기 보고가 실제와 다르다 → 그래서 가능하면 눈가림(blinding)을 하고, 1차 평가변수를 주관적 응답으로 두지 않습니다.
• 결과를 보고 나서 해석을 고른다 → 그래서 무엇을 성공으로 볼지 시작 전에 프로토콜에 박고 사전 등록합니다.

METR이 지금 하고 있는 일, 그러니까 결과를 발표하는 대신 설계를 다시 짜는 건 이 분야에서는 정석이에요. 오히려 신뢰구간이 0을 포함하는 결과를 "AI는 효과 없음"으로 발표하지 않은 게 이 연구팀의 가장 잘한 일이라고 생각합니다.

그리고 한 가지 더. 원 논문에도 이미 이렇게 적혀 있었어요. 이 결과는 AI가 대다수 개발자를 빠르게 하지 않는다는 증거가 아니라고요. 19%를 단정으로 옮긴 건 연구가 아니라 인용이었습니다.

그래서 팀의 속도를 잴 때

"AI 덕에 빨라졌나"는 지금 답이 없는 질문이에요. 답이 없는 질문을 붙들고 있는 것보다, 답이 있는 질문으로 바꾸는 게 낫습니다.

자기 보고를 1차 지표로 쓰지 않기. 회고에서 "확실히 빨라진 것 같아요"가 나오면 그건 데이터가 아니라 가설이에요. 40퍼센트포인트가 벌어지는 자리입니다.

무엇이 빨라졌는지 쪼개기. 첫 커밋까지, 리뷰 통과까지, 배포까지는 서로 다르게 움직여요. AI는 첫 커밋을 크게 앞당기고 리뷰를 길게 만들 수 있는데, 셋을 하나로 뭉쳐 놓으면 그게 안 보입니다.

비교 대상을 만들기. 비교군 없이 나온 숫자는 변화량이 아니라 현재값이에요. 완벽한 대조군은 못 만들더라도, 최소한 같은 종류의 일에서 이전 분기와 비교할 수는 있습니다.

재기 전에 성공 기준을 적어두기. 숫자를 보고 나서 기준을 정하면 어떤 결과든 성공이 돼요. 이건 도구가 필요 없고 문서 한 줄이면 됩니다.

작게, 자주, 같은 방식으로. 한 번 크게 재는 것보다 같은 방법으로 계속 재는 게 낫습니다. METR도 결국 규모를 키우다가 편향을 얻었어요.

물론 이 다섯 개가 다 지켜지는 팀은 거의 없을 겁니다. 저도 못 하고 있어요. 특히 비교군은 제품 일정이 돌아가는 와중에 만들기가 정말 어렵고, 억지로 만들면 그 자체가 비용이 되죠. 다만 네 번째, 재기 전에 성공 기준을 적어두는 것만큼은 도구도 예산도 필요 없어요. 하나만 고른다면 그것부터 하시길 권합니다.

적용해보기

팀에서 "AI 덕에 빨라졌나"를 이야기할 때 이 질문들을 먼저 던져보면 좋겠어요.

• 지금 근거로 삼는 숫자가 자기 보고인가요, 시스템이 자동으로 남긴 기록인가요?
• "빨라졌다"에서 무엇이 빨라졌나요 — 첫 커밋까지? 리뷰 통과까지? 배포까지?
• 비교 대상이 있나요? 없다면 그 숫자는 변화량이 아니라 현재값이에요.
• AI를 가장 많이 쓰는 사람과 가장 적게 쓰는 사람이 같은 종류의 일을 하고 있나요?
• 이 측정을 시작하기 전에 무엇을 성공으로 볼지 적어뒀나요?

마지막으로 하나 더요. 이 글의 숫자들도 2026년 9월 기준이고, METR은 지금 설계를 다시 짜는 중이에요. 그러니 이 글도 언젠가 정정될 겁니다. 그게 정상이라는 게 이 글의 요지이기도 하고요.

혹시 팀에서 AI 도입 효과를 실제로 재보신 분이 있다면, 어떤 지표를 쓰셨는지 듣고 싶어요. "나라면 이렇게 쟀을 텐데" 싶은 지점이 있었다면 그 얘기도요.

다음 편에서는 판정과 측정이 남긴 기록이 나중에 증거가 될 수 있는지를 다뤄보려고 해요. 4편에서 사람이 판정한다고 했고 이번 편에서 그 판정을 어떻게 재느냐를 봤으니, 남는 건 그게 기록으로 어떻게 남느냐거든요.

감사합니다.

참고

• METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (2025-07-10) — 원 무작위 대조 실험
• arXiv:2507.09089 — 같은 연구의 논문본
• METR, We are Changing our Developer Productivity Experiment Design (2026-02-24) — 재측정 결과와 선택 편향, 설계 변경
• METR, Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity (2026-05-11) — 기술직 349명 설문