저는 UX랩에서 챗봇의 성능을 평가하는 AI 머신 개발 프로젝트에 참여하게 되었습니다. 제 역할의 핵심은 챗봇과 대화할 가상의 사용자 발화를 LLM으로 자연스럽게 생성하는 일이었습니다. 하지만 AI가 인간처럼 자연스럽고 다양한 대화를 만들어내도록 프롬프팅하는 과정이 생각보다 쉽지 않았습니다.

처음엔 LLM에 구체적인 예시를 지시했지만, 지나치게 구체적이었는지 그 예시와 유사한 발화만 만들어졌습니다. 냅다 “인간처럼 말해봐!”라고 요구했지만, 너무 추상적인 지시를 주니 내용이 평범하고 단조로워졌죠. 또 논리적이고 구조적인 프롬프트를 작성해보기도 했지만, LLM이 내용을 제대로 이해하지 못해 원하는 결과와는 거리가 있었습니다. 지금까지의 프롬프트를 모두 잊고, 최대한 신박하고 확률이 낮은 값을 내놓으라고 하니 인간의 상식에서 벗어난 엉뚱한 발화들이 나와 애를 먹기도 했습니다. 예를 들면, “고양이 발걸음마다 세척을 시작해요!” 처럼요.

이러한 한계에 봉착한 도중, 교수님과 진행한 모의 실험(?)에서 흥미로운 힌트를 얻었습니다. 교수님은 제가 돌아서 있는 사이, 다른 연구원님에게 어떤 그림을 그려 보여주시고, 연구원님은 그 그림을 오직 설명만으로 저에게 전달해야 했습니다. 저도 그 설명을 듣고 동일한 그림을 그리게 하는 방식이었죠. 연구원님은 좌표를 활용해 그림을 세밀하게 설명하셨고, 결과적으로는 비슷한 그림을 그리긴 했지만 설명이 꽤나 복잡하게 느껴졌습니다. 막상 그림은 삼각형과 사각형으로 이루어진 단순한 형태였는데 말이죠.

이 실험을 통해 하나의 그림을 설명하는 데에도 다양한 수준의 설명 방식이 있다는 것을 실감했습니다. AI 프롬프팅도 마찬가지라는 생각이 들었어요. 다양한 가능성 중에서도, 너무 복잡하지 않으면서도 충분히 이해 가능한 ‘적절한 수준’의 프롬프트를 찾는 것이 핵심이었죠. 물론 그걸 찾는 과정은 무수한 시행착오를 거칠 만큼 어려웠지만, 그 이상으로 흥미로운 일이었습니다. AI가 “인간처럼 말해봐!”라는 요청에 가까워지도록 할 방법을 찾기 위해 고민할 귀한 기회를 주신 교수님과 연구원분들께 진심으로 감사드립니다.

Writer: 이은채