“프롬프트 잘 쓰는 법을 그렇게 열심히 공부했는데, 이제는 그게 핵심이 아니라고요?”
“우리 팀도 AI 에이전트를 도입했는데, 왜 기대만큼 업무가 빨라지지 않을까?”
AI를 실무에 활용하다 보면 위와 같은 고민을 한 번쯤 마주하게 됩니다. 분명 몇 달 전에 익힌 방법 그대로 쓰고 있는데 어딘가 삐걱거리는 느낌이 들죠. 그도 그럴 것이, AI 활용의 중심축은 정말 빠른 속도로 변화하고 있기 때문입니다. 이 글에서는 그 중심축이 어떻게 이동해 왔는지 세 단계로 정리하고, 최근 고급 모델의 등장과 함께 새롭게 대두되고 있는 이야기도 소개해 보려고 합니다.
1단계: 질문을 잘하는 기술, 프롬프트 엔지니어링
챗GPT가 등장한 초기, AI 활용의 핵심은 질문을 잘 던지는 것이었습니다. 같은 요청이라도 문장을 어떻게 구성하느냐에 따라 결과물의 품질이 크게 달라졌기 때문입니다. “역할을 부여하라”, “예시를 함께 제시하라”, “단계별로 생각하게 하라” 같은 프롬프트 엔지니어링(Prompt Engineering) 노하우가 쏟아졌고, 잘 만든 프롬프트 템플릿이 하나의 자산처럼 공유되었습니다.
이 시점의 AI는 한 번 묻고 한 번 답을 받는 도구에 가까웠습니다. 그렇기에 질문 한 번의 완성도가 결과를 크게 좌우했던 것이죠.
2단계: 질문은 완벽한데 왜 결과가 아쉬울까? 콘텍스트 엔지니어링
모델이 고도화되고 에이전트 활용이 본격화되며 병목은 점점 다른 곳으로 옮겨 갔습니다. 질문이 어느 정도 상향평준화되고 나니, 이제 문장을 다듬는 것 외에도 AI에게 어떤 정보를 쥐여주느냐가 중요해진 것입니다. 우리 회사의 업무 규칙, 참고해야 할 문서, 프로젝트의 맥락 같은 정보를 모델의 콘텍스트 윈도우(Context Window)에 잘 골라 담는 콘텍스트 엔지니어링(Context Engineering)의 중요성이 주목을 받게 되었습니다.
길고 복잡한 작업을 위한 에이전트는 한 번의 질의응답으로 끝나지 않고 여러 단계의 작업을 이어서 수행합니다. 그 과정에 필요한 정보가 빠져 있으면 아무리 정교한 프롬프트도 소용이 없습니다. 반대로 맥락만 충분히 전달되면 다소 투박한 요청으로도 원하는 결과를 얻을 수 있었죠. 질문하는 기술에서 정보를 설계하는 기술로, 활용의 무게중심이 이동했던 것으로 보입니다.
3단계: AI의 업무 환경을 설계하는 기술, 하네스 엔지니어링
그리고 26년 중순, 최근까지 에이전트 방법론의 중심은 하네스 엔지니어링(Harness Engineering)이었습니다. 하네스란 모델을 감싸는 작업 환경 전체를 뜻합니다. 강아지가 산책할 때 사용하는 하네스와 의미가 같죠. 즉 하네스 엔지니어링은 에이전트가 어떤 도구를 쓸 수 있는지, 작업 결과를 무엇으로 검증받는지, 어디까지 자율적으로 움직이고 어디서 사람의 확인을 받는지를 설계하는 작업 방식입니다. 한마디로 AI가 우리가 원하는 틀 안에서 안정적으로 돌아가게 만드는 기술이라고 할 수 있습니다.
이런 방법이 대두된 것은 에이전트에게 실제 업무를 맡길 때 품질보다 신뢰성이 문제가 되는 경우가 종종 발생했기 때문입니다. 아무리 똑똑한 모델이라도 검증 없이 반복 업무를 맡기기에는 불안한 것이 사실입니다. 그래서 검증 루프, 가드레일, 도구 권한 설계 같은 하네스 구성 요소들이 에이전트 활용의 성패를 가르는 요인으로 주목받아 왔습니다.
그리고 지금: 낡은 하네스가 발목을 잡는다?
여기까지가 교과서적인 흐름이라면, 최근에는 조금 다른 이야기가 들려오고 있습니다. 클로드 페이블(Claude Fable) 5나 GPT-5.6 같은 고급 모델이 등장하면서, 모델보다 하네스가 뒤처지는 상황이 생기기 시작한 것입니다.
이전 세대 모델을 기준으로 촘촘하게 짜둔 하네스, 그러니까 단계마다 사람의 확인을 요구하고 자율적인 판단의 여지를 최소화한 틀에 고급 모델을 넣으면 업무 퍼포먼스가 오히려 떨어진다는 지적의 목소리가 조금씩 들려오기 시작했습니다. 장시간 자율 작업이 가능한 모델에게 낡은 하네스는 안전장치가 아니라 족쇄가 될 수 있다는 것이죠. 실제로 최근 모델 비교 담론에서도 같은 모델이라도 어떤 하네스 위에서 움직이느냐에 따라 성과가 크게 달라진다는 점이 반복해서 언급되고 있습니다.
26년 7월에 AI를 활용하는 우리에게 이것은 생각해볼 만한 부분입니다. Anthropic은 페이블 5의 공식 프롬프팅 문서에서 “이전 모델을 위해 개발된 스킬(작업 지침)은 페이블 5에게 지나치게 규범적인 경우가 많고, 출력 품질을 떨어뜨릴 수 있다”며 기본 성능이 더 좋다면 기존 지시문을 걷어내는 것을 검토하라고 직접 권고합니다. 모델의 역량이 크게 올라간 시점이야말로 어떤 지시, 도구, 가드레일이 여전히 필요한지 재평가할 때라는 안내와 함께요.
Anthropic, Prompting Claude Fable 5
모델을 만든 회사가 먼저 나서서 ‘지시를 줄여보라’고 권장하다니, 꽤 상징적인 메시지 아닌가요?
그럼 하네스를 당장 벗겨버리는 것이 정답일까요?
그건 아직 모르겠습니다. 클로드 페이블의 경우 아직 정식 구독 모델은 아니기도 하고, 개인적으로는 가드레일을 그저 깨끗이 걷어내는 것이 답은 아니라고 생각합니다. 자칫 검증 없는 자율성은 더 큰 비용으로 돌아올 수 있기 때문이죠.
핵심은 모델의 역량을 먼저 파악하고, 그에 맞는 단계의 자유도를 부여하는 것이라고 생각됩니다. 지금 쓰는 모델이 어디까지 스스로 해낼 수 있는지 작은 업무부터 검증해 보고, 신뢰가 쌓인 영역부터 하네스를 단계적으로 풀어가거나 새로운 방식으로 씌우는 등의 접근이 필요해 보입니다. 말하자면 에이전트의 온보딩(Onboarding)이라고 할 수 있겠습니다. 팀원이 충분히 성장했는데도 계속 수습처럼 대할 필요는 없지만, 그럼에도 갓 입사한 팀원에게 업무의 전권을 바로 주기는 어려운 법이니까요.
고정된 방법론은 없다: 너무나 빠른 업데이트를 대하는 자세
근 한 달 사이에도 각 모델은 업데이트를 이어가고 있습니다. GPT-5.6이 7월에 정식 공개되었고, 벌써 다음 버전(GPT-6)에 대한 소식까지 들려옵니다. 클로드는 7월 7일, 12일, 이제는 19일로 페이블 사용 기한을 연장하고 있습니다. AI 모델은 빠르게 업데이트되고, 상황은 더욱 빠르게 변하며, 그에 따른 활용 트렌드는 앞으로도 계속 변화할 것으로 보입니다.
그렇다면 우리는 무엇을 붙들어야 할까요? 프롬프트, 콘텍스트, 하네스라는 흐름을 다시 짚어보면 공통점이 하나 보입니다. 세 단계 모두 “지금의 모델에게 무엇이 병목인가”라는 질문을 따라 이동해 왔다는 점입니다. 정답은 계속 바뀌었지만, 질문은 한 번도 바뀐 적이 없는 셈이죠.
그렇기에 특정 방법론을 정답처럼 두고 진행하기보다, 매 순간 업데이트되는 AI의 역량을 새롭게 파악하고 우리 업무에 맞는 활용 단계를 다시 설정하는 유연함이 어느 때보다 중요한 시기가 아닐까 하는 생각이 듭니다. 가설을 세우고, 작게 실험하고, 결과를 확인한 뒤 다음 단계를 정하는 것. 어딘가 익숙한 순서 아닌가요? 결국 AI 활용도 그로스 실험과 같은 구조로 접근할 때 가장 오래간다고 생각합니다. 도구는 계속 바뀌어도, 도구를 다루는 우리의 질문과 판단 기준은 남으니까요.
빠르게 변하는 AI 트렌드 속에서 우리 팀의 활용 방식을 고민하는 분들께 이 글이 조금이나마 도움이 되기를 바랍니다.
