AI: Clarity amongst hype, uncertainty, and instability: LLM의 실체, 그리고 AI 시대에 감각을 지키는 법
This article is also available in English. Read in English →그날의 분위기가 궁금하신가요? 발표부터 네트워킹까지, AI: Clarity amongst hype, uncertainty, and instability 애프터무비에서 만나보세요 🎥
10월 29일, dcamp 선릉에서 "AI: Clarity amongst hype, uncertainty, and instability"를 진행했습니다. 100명이 넘는 분들이 한 시간 반이 넘는 발표 하나를 들으러 오셨고, 중간에 자리를 뜬 분은 거의 없었습니다.
발표자는 한국 제조 스타트업 eMoldino의 AI/ML 엔지니어이자 매주 freeCodeCamp Korea 모임을 운영하는 K Choi 님이었습니다. 그의 출발점은 단순했습니다. 카페에서도, 편의점에서도, 공원 벤치에서도 모두가 AI를 이야기합니다. 하지만 제대로 이해하는 사람은 드뭅니다. 아무도 제대로 이해하지 못하면 그 빈자리는 과대광고, 뒤처질까 하는 불안, 그리고 자신 있게 틀린 이야기들이 채웁니다.
그래서 그는 확실한 사실 몇 가지를 전하려 했고, 어떤 부분이 자신의 합리적인 추측인지도 분명히 밝혔습니다.
9년째 같은 핵심 구조
그는 트랜스포머가 무엇인지 아는 사람을 물었습니다. 손을 든 사람은 네다섯 명. 그의 답은 이것이었습니다. ChatGPT나 Claude를 써 봤다면, 이미 트랜스포머를 써 본 것입니다.
이 구조는 2017년 Google의 "Attention Is All You Need" 논문에서 나왔고, 2022년 11월 ChatGPT 출시부터 더 긴 메모리, 도구 사용, 추론까지 그 이후의 모든 것이 여전히 같은 핵심 위에 있습니다. 9년이 지났지만 아직 이를 대체한 것은 없습니다.
그는 작동 방식을 단계별로 설명했습니다. 텍스트는 토큰으로 잘리고, 각 토큰은 긴 숫자 벡터가 되며, 층층이 쌓인 어텐션을 거치며 각 토큰이 다른 토큰에서 맥락을 가져옵니다. 그래서 "mole"이 문장에 따라 동물이 되기도, 단위가 되기도, 점이 되기도 합니다. 그리고 규모를 충분히 키우면 아무도 직접 프로그래밍하지 않은 능력이 나타납니다. 그의 비유는 이랬습니다. 물 한 잔은 투명하지만, 바다만큼 모이면 파랗게 보입니다.
일상적인 사용에서 가장 중요한 건 출력입니다. 모델은 답을 주는 게 아니라 다음 토큰에 대한 확률을 줍니다. 온도(temperature)는 무작위성을 더하고, 그래서 같은 질문에도 매번 다른 답이 나옵니다. 온도가 0이어도 얻는 건 가장 그럴듯한 토큰이지, 객관적으로 참인 토큰이 아닙니다. 환각은 구조에 내재되어 있고, 근거 자료나 검색이 이를 줄일 수는 있지만 없애지는 못합니다. 그 증거로 그는 모든 AI 서비스가 여전히 채팅창 아래에 "실수할 수 있습니다"라고 적어 둔다는 점을 들었습니다. 그 문구가 사라지면 자기 말을 거두겠다고 했습니다.
환각을 일으킬 수 없다며 화제가 된 Jev 같은 "System 1" 모델도 다뤘습니다. 그의 설명은 이렇습니다. 점수, 선택지, 또는 null처럼 가능한 답을 미리 정해 두기 때문에 모델이 다섯 번째 답을 지어낼 수 없습니다. 그래서 빠르고 저렴하지만, 형식이 보장된다고 답이 맞는 것은 아닙니다. 경쟁사들이 만든 방식을 보면, 그 밑바탕은 여전히 답안 메뉴가 붙은 트랜스포머일 것이라는 게 그의 추측입니다.
벤치마크, 출시 경쟁, 그리고 진짜 새로운 것
다음은 헤드라인 속 숫자들이었습니다. 한 연구소가 자체 하네스로 거의 완벽한 벤치마크 점수를 발표했는데, 같은 모델을 표준 하네스로 돌리면 훨씬 낮은 점수가 나온다면, 그는 감탄하기 전에 어떻게 그 점수를 얻었는지부터 보고 싶다고 했습니다. 최상위 모델들이 원래 정답을 외워 버려 SWE-bench Verified가 폐기된 사례도 들며, 학생에게 시험 답안을 주고 점수에 놀랄 일은 아니라고 했습니다.
이어서 타임라인을 짚었습니다. Sora는 출시 후 2년 남짓 만에 영상 생성 비용 때문에 서비스를 종료했습니다. MCP는 아직 두 살도 되지 않았고, "바이브 코딩"이라는 말도 생긴 지 2년이 안 됐습니다. 발표 17시간 전에 새로운 최상위 모델이 나왔는데, 현장에서 써 본 사람은 아무도 없었습니다. 그의 요점은 누구도 모든 걸 따라갈 수 없고, 그래도 괜찮다는 것입니다. 그 역시 모든 소식을 따라가지 않고, 자기 일에 관련된 것만 챙긴다고 했습니다.
일부 오픈 웨이트 모델이 훨씬 낮은 가격에 최상위 모델에 근접하는 이유에 대해서도, 추측임을 분명히 밝히며 자신의 생각을 나눴습니다. 더 큰 모델로 학습 데이터를 만들고, 이를 더 작은 모델에 증류(distillation)하는 방식이라는 것입니다.
AI는 시니어의 역량을 증폭합니다
현장의 개발자들이 가장 기다린 부분이었습니다. 그의 주장은 이렇습니다. 코딩 에이전트는 경험 많은 엔지니어가 이미 가진 것, 즉 좋은 CI/CD, 테스트 자동화, 깔끔한 아키텍처, 깊은 도메인 지식, 정확한 명세, 엄격한 코드 리뷰를 증폭합니다. 그래서 지금 시장에서 주니어가 더 힘든 것입니다.
더 빨리 시니어가 되는 방법에 대한 그의 조언은 LLM을 자신의 주니어로 대하라는 것이었습니다. 방향을 정하고, 아키텍처를 책임지고, 정확하게 지시하고, 냉정하게 리뷰합니다. 모델이 가질 수 없는 맥락, 즉 이유, 히스토리, 회의, 사람을 내가 쥐고 있어야 합니다. 그리고 내가 내보내는 결과물에 대한 책임은 나에게 있습니다.
LLM이 여전히 약한 부분도 정리했습니다.
- 레거시 코드. LLM은 새 프로젝트에서 강합니다. 그가 본 인상적인 데모는 전부 새 프로젝트였고, 8년 된 Java 8 코드베이스는 하나도 없었습니다.
- 연동. 시스템, 벤더 API, 데이터 계약을 서로 연결하는 일.
- 학습 데이터에 없는 진짜 새로운 문제.
- 자기 확신 수준을 아는 것. "확실해?"라고 백 번 물으면 답이 계속 바뀝니다.
- 길고 여러 단계로 이어지는 작업. 작은 실수가 쌓입니다.
- 자기 결과물 검증. 코드와 테스트를 같은 모델이 쓰면, 둘 다 같은 방식으로 틀릴 수 있습니다.
그리고 흔히 듣는 말을 뒤집었습니다. "AI를 쓰지 않으면 뒤처진다" 대신, AI에 너무 기대면 AI 시대에 경쟁력이 되는 바로 그 능력, 즉 디버깅 감각, 설계 판단력, 깊이 있는 기억, 빈 페이지에서 시작하는 힘, 그리고 무엇보다 결과를 검증하는 능력이 약해진다는 것입니다. AI가 있을 때는 더 잘했지만 AI를 빼자 더 못하게 된 여러 연구 결과로 이를 뒷받침했습니다.
그가 직접 지키는 습관들입니다.
- 회사에서 하루 한 시간은 Claude Code 없이 직접 리뷰하고 디버깅하기
- 동료에게 작업을 보여 주고 진짜 피드백 받기
- 몰입 상태에 들어갈 수 있는 적절한 난이도 찾기
- 직접 작성한 테스트로 검증한 뒤에 믿기
- 새로운 도구는 문서로 배우기. Jev가 나왔을 때 그는 문서를 한 줄씩 읽고 직접 테스트한 뒤에 회사에 도입을 제안했습니다
- 배운 것을 가르치기. 막히는 지점에서 내가 제대로 모르는 게 드러납니다
그리고 이를 수십 년 된 원칙들과 연결했습니다. 파레토 법칙, 맨먼스 미신(주니어 에이전트를 무한히 늘려도 마감은 지켜지지 않습니다), 굿하트의 법칙, 코브라 효과.
과대광고 뒤의 경제학
이어서 돈 이야기로 넘어갔습니다. 투자 조언이 아니라는 점을 분명히 하면서요. 그가 보기에 지금의 구독 요금은 사용자를 끌어들이기 위해 크게 보조되고 있습니다. 싼 로티세리 치킨이 손님을 마트로 끌어들이는 것처럼요. 그리고 사용 한도는 점점 빡빡해집니다. 그의 조언은 보조금 위에 워크플로 전체를 세우지 말고, 대안을 준비해 두라는 것이었습니다.
IPO 신고서를 읽은 그의 결론은, 모델을 서비스하는 것은 수익이 날 수 있지만 현금을 태우는 건 학습이며, 컴퓨팅 약정을 감당하는 데 필요한 성장이 과대광고의 큰 이유라는 것입니다. 그러니 최상위 연구소에서 극적인 헤드라인이 나오면 그 뒤의 동기를 함께 생각해 보라고 했습니다.
수학 분야의 돌파구라는 주장에 대해서는 자신만의 관점을 제시했습니다. LLM은 인류 지식의 경계 바로 옆, 그가 "외삽 영역"이라 부르는 곳에서 강합니다. 테크 업계는 무한한 주니어를 얻었고, 연구계는 무한한 대학원생을 얻었습니다. 최고의 사람들이 증폭되지만, 결과를 검증하는 건 여전히 사람입니다.
AI를 너무 믿을 때
발표에서 가장 무거운 부분은 실제로 일어난 일들이었습니다. 기밀 데이터를 공개 챗봇에 붙여 넣은 일, 챗봇이 지어낸 환불 정책을 회사가 지켜야 했던 일, 존재하지 않는 연구를 인용한 보고서, 운영 환경을 삭제한 코딩 에이전트, 그리고 건강, 법률, 야외 활동에서 AI의 조언을 따른 사람들.
그가 가장 걱정한 건 가장 먼저 다치는 사람들이었습니다. 십대, 고립된 사람들, 그리고 취약한 순간에 있는 모든 사람. 그의 메시지는 AI는 사람도 친구도 아니라는 것, 사람을 대체하는 것처럼 AI를 파는 회사는 책임을 져야 한다는 것, 그리고 우리가 온라인에서 배운 것을 아이들에게도 가르쳐야 한다는 것이었습니다. 개인적인 것은 개인적으로 지키고, 믿을 수 있는 어른에게 물어보라고요.
AI가 향해야 할 곳
그렇다고 비관으로 끝나지는 않았습니다. AI를 다시 병 안에 넣을 수는 없으니, 그는 AI가 올바른 곳을 향하길 바랍니다. 사람들이 인터넷의 최악을 덜 보도록 돕는 콘텐츠 모더레이션, 반복적인 문서 작업, 화이트햇 보안 연구, 시각장애인을 위한 접근성 도구, AlphaFold 같은 과학, 그리고 더 많은 암을 찾아내는 의료 검진.
그리고 그는 희망을 가지고 있습니다. 사람은 적응하기 때문입니다. 그의 세대는 인터넷의 규칙을 실시간으로 배웠고, AI와 함께 자라는 아이들도 그 한계를 배울 거라고 믿습니다.
마지막은 반전이었습니다. 그는 첫 곡 발매를 앞둔 래퍼 Helix이기도 하고, 그 주말 오픈 마이크 무대에 선다며 전단지를 나눠 줬습니다.
Q&A
- AI로 리서치하기: 한 프로덕트 디자이너가 LLM이 출처 링크를 붙이게 하면 리서치에 써도 괜찮은지 물었습니다. 그의 답은 실제로 출처를 읽는다면 괜찮고, 일반 검색도 함께 쓰라는 것이었습니다.
- 주니어에게 동기는 무엇일까? AI 전공 박사과정생이 신입 개발자가 여전히 시니어 수준까지 배워야 할 이유를 물었습니다. K 님은 시니어의 가치가 더 커졌고 더 많은 일을 할 수 있기 때문이라고 답했습니다. 학생은 자동차가 등장했을 때 말 타는 법을 배우라는 것과 비슷할 수 있다며, 시간이 답해 줄 거라고 반론했습니다.
- 중복된 연구: 여러 팀이 같은 암 검진 아이디어를 연구하는 게 낭비가 아니냐는 질문에, K 님은 결과를 재현하는 것 자체가 가치 있고 특히 건강 분야에서는 더욱 그렇다고 답했습니다.
- "코드의 90%를 AI가 쓴다": 최상위 연구소들이 코드 대부분을 AI가 생성한다고 말하는 것에 대해, 그는 디지털 주니어가 코드를 쓰고 있다는 뜻일 뿐이라고 답하며, 직원들이 업무의 일부만 완전히 위임할 수 있었다는 Anthropic 자체 연구를 언급했습니다.
현장 분위기
체크인과 함께 음식으로 시작했습니다. 이번에도 피자와 버거였고, 버거는 Cry Cheeseburger에서 준비했습니다. 발표가 끝난 뒤에도 많은 분들이 남아 마지막까지 네트워킹을 이어갔습니다.
감사 인사
이번 행사는 아래 분들 덕분에 가능했습니다.
- AI에 더 들뜨게 하기보다 더 깊이 생각하게 해 준 K Choi
- 선릉에서 행사를 열 수 있게 해 준 dcamp
- 연간 스폰서 Habsida, Figma, Rezi, Notion. 이번에는 행사 스폰서가 없었기에, 음식을 준비할 수 있었던 건 이분들 덕분입니다
- 버거를 준비해 준 Cry Cheeseburger
- 행사를 원활하게 이끌어 준 자원봉사자분들: Azizjon, Bertijn, Brian, Nathaniel, Rich (애프터무비 촬영)
- 그리고 함께 와서 한 시간 반 동안 귀 기울여 듣고 좋은 질문을 해 주신 100명이 넘는 모든 분들
발표 영상 보기
전체 발표는 온라인에서 볼 수 있습니다.
Dev Korea의 모든 발표는 발표 페이지에서 볼 수 있습니다.
다음 행사에서 만나요.
다음 커리어를 준비하고 계신가요?
Dev Korea에서 dev-korea.com/jobs의 최신 채용 공고를 확인하세요. 채용 중이라면 dev-korea.com/post-a-job에서 공고를 올리고 성장하는 글로벌 테크 커뮤니티와 연결되세요.
