AI Salon x Dev Korea #2: AI가 광고를 판단할 수 없는 이유, 그리고 적은 에이전트로 맞는 앱 만들기

그날의 분위기가 궁금하신가요? 발표부터 네트워킹까지, AI Salon x Dev Korea #2 애프터무비에서 만나보세요 🎥

10월 13일, AI Salon Seoul, SVC Seoul와 함께 AI Salon x Dev Korea #2를 진행했습니다. 이날 약 90명이 함께해 주셨습니다.

7월의 첫 번째 AI Salon x Dev Korea 이후로 형식은 그대로입니다. 실제 제품을 만드는 사람들의 실용적인 발표 두 개, 그리고 충분한 대화 시간. 이번에는 미리 맞춘 것도 아닌데 두 발표자가 같은 관점에서 AI를 이야기했습니다. 이제 AI로 거의 무엇이든 빠르게 만들 수 있으니, 어려운 부분은 무엇을 만들 가치가 있는지 판단하는 쪽으로 옮겨갔다는 것입니다.

SVC Seoul에서 찍은 AI Salon x Dev Korea #2 단체 사진

음식은 지난번처럼 이번에도 김밥이었고, 체크인 때 함께 나눴습니다.

체크인 때 나눈 김밥

AI는 광고를 몇 초 만에 만들지만, 대부분은 실패합니다

첫 발표는 Jerome Yip 님이었습니다. Meta, Google, TikTok의 대형 광고 계정에서 유료 획득과 크리에이티브 전략을 맡고 있고, 작은 앱 스튜디오에서 자신의 앱도 만들고 있습니다. 전날 아이들 앞에서 발표 연습을 했는데, 아이들 평가는 "괜찮다"였다고 하네요.

그의 출발점은 이렇습니다. LLM과 그 위에 만들어진 도구들은 결과물을 뽑아내고 따라 하는 데는 능하지만, 크리에이티브 전략에는 약합니다. 광고 소재는 비트레이트, 색상, 단어 밀도, 훅까지 정량적으로 측정할 수 있습니다. 하지만 그 광고가 좋은지는 측정할 수 없습니다. 제품, 타깃, 시기, 표본 크기에 따라 달라지기 때문입니다. 게다가 SNS에서의 집중력은 역대 최저이고 경쟁은 역대 최고이며, 이제 모두가 AI로 광고를 만들고 있습니다.

그리고 실험을 하나 했습니다. 대형 칼로리 앱 Yazio의 같은 훅 두 가지를 음소거로 나란히 틀고 투표를 받았습니다. 의견이 갈렸고, A가 조금 더 많았습니다. 소리를 켜자 B가 가짜라는 것을 모두 알 수 있었습니다. Nano Banana와 ElevenLabs 음성으로 만든 영상이었습니다.

이어서 같은 프레임을 최상위 모델 네 개에 블라인드로, 순서를 바꿔 두 번씩 보여줬습니다. 결과는 제각각이었습니다. 오디오까지 받은 Gemini는 첫 번째에는 둘이 같다고 했고, 두 번째에는 원본이 낫다고 했습니다. 모델이 훅 하나도 일관되게 판단하지 못한다면, 광고에 무엇을 넣을지 왜 모델에게 맡겨야 할까요?

자신의 AI 기반 작업 환경을 소개하는 Jerome Yip

그의 작업 환경

그렇다고 AI 없이 일한다는 뜻은 아닙니다. 그의 스택은 세 층으로 되어 있습니다.

지능: 직접 만든 하네스와 함께 쓰는 Codex와 Claude Code, 그리고 결과물을 검증하는 LLM 카운슬. 항상 그가 중간에서 확인하는 루프로 돌아갑니다.
맥락: 새 제품을 맡으면 App Store 리뷰 수천 개를 수집해 감성 분석을 돌리고(결과를 그대로 믿지 않고 직접 확인합니다), Reddit과 관련 제품도 살펴봅니다. 자기 앱의 모든 화면을 단순한 HTML로 보관하고, 경쟁사의 페이월과 온보딩, 공개 광고 라이브러리의 광고도 모아 둡니다.
실행: 이미지와 영상은 Flora, 로컬 영상 편집은 HyperFrames, 모션은 Remotion, 음성은 ElevenLabs, 카피는 익숙한 모델들로 만듭니다.

그가 가장 강조한 것은 맥락 층이었습니다. 분석 데이터는 Firebase에서 BigQuery로 보내 Apple Search Ads, Meta, RevenueCat 데이터와 함께 로컬 환경에 연결하고, 새 페이월이나 온보딩 단계 변경 같은 모든 릴리스 변경 사항을 Notion과 GitHub에 기록합니다. 그래야 이런 구체적인 질문을 던질 수 있습니다. 예전에는 설치의 80%가 페이월까지 갔는데 왜 지금은 60%일까? 온보딩이 바뀌었나, 트래픽이 달라졌나? LLM은 이런 가설을 한두 시간 안에 검토할 수 있지만, 사람이 하면 훨씬 오래 걸립니다.

도구로는 챗봇의 요약을 믿는 대신 리뷰와 광고 라이브러리 같은 1차 데이터를 수집하는 Apify, 약 2,500개의 온보딩 플로우를 모아 둔 ScreensDesign, 광고 라이브러리 Foreplay, 검색용 Exa를 씁니다.

얻거나, 벗어나거나, 지키거나

사람들이 무언가를 사는 이유에 대한 그의 가설은 이렇습니다. 무언가를 얻고 싶거나, 무언가에서 벗어나고 싶거나, 무언가를 지키고 싶어서입니다.

MyFitnessPal을 예로 들었습니다. 칼로리 계산 자체에 돈을 내는 사람은 없습니다. 그래서 먼저 시장을 큰 이유로 나눕니다. 스스로에게 더 만족하기 위해 살을 빼고 싶은 사람, 목표 안에서 맛있는 음식을 먹고 싶은 사람처럼요. 그다음은 상황에 따른 페르소나입니다. 친구 결혼식 사진 속 내 모습이 마음에 들지 않았던 사람처럼요. 그리고 그 사람에게 닿는 앵글을 고릅니다. 그는 전혀 다른 앵글로 만든 실제 MyFitnessPal 광고 두 편을 보여주며, 각각의 뒤에는 거의 틀림없이 자세한 대본과 그것을 고른 전략가가 있었을 것이라고 짚었습니다.

많은 사람이 받아 적은 부분은 일관성(alignment)이었습니다. 그는 LLM으로 광고의 주요 프레임과 대본을 뽑아낸 뒤, 퍼널의 모든 단계, 즉 App Store 페이지, 환영 화면, 온보딩, 페이월이 광고의 앵글과 얼마나 맞는지 점수를 매기게 합니다. 광고는 달라진 모습을 약속하는데 앱이 레시피 화면으로 열린다면 일관성은 0입니다. 그의 테스트에서는 "맛있는 음식" 앵글이 훨씬 일관성이 높게 나왔습니다. 그리고 바로 덧붙였습니다. 그렇다고 그게 정답이라는 뜻은 아니며, 테스트해야 할 가설일 뿐이라고요.

그의 결론은 이렇습니다. AI는 그에게 엄청난 도움이 되지만, 무엇을 내보낼지는 사람의 판단, 경험, 창의성, 취향이 결정합니다. 그리고 제대로 테스트해야 합니다. 영상 하나에 설치 100건으로는 거의 아무것도 알 수 없습니다.

Q&A는 바로 실전 질문으로 이어졌습니다.

리텐션은 가장 움직이기 어려운 지표입니다. 그 전 단계는 충동적일 수 있으니까요. 사용자가 설치할 때 기대한 것과 실제로 제공한 것을 비교해 보라고 했습니다.
오가닉과 유료: 그는 검색 광고부터 시작합니다. 수요를 만드는 게 아니라 이미 있는 의도를 잡는 것이기 때문입니다. 오가닉은 매우 어렵고, 광고를 하는 사람들도 여전히 풀고 싶어 하는 문제라고 했습니다.
지표: Meta가 알려주는 건 체험당 비용이지만, 체험이 모두 전환되지는 않습니다. 첫 15분 안에 취소되는 체험이 많았고, 전환 이벤트를 늦춰 실제로 의미 있는 체험에 최적화하면 도움이 될 수 있다고 합니다. CTR이나 CPC보다 광고비 대비 수익이 훨씬 중요합니다.
여러 앵글을 쓰면 퍼널 아래쪽 작업이 늘어납니다. App Store의 맞춤형 제품 페이지, 앵글에 따라 갈라지는 온보딩 질문이 필요해지죠. 그래서 가설을 신중하게 골라야 합니다.

링크: AI 기반 크리에이티브 리서치 및 제작 시스템 구축하기, 전체 발표

빠른 앱이 아니라, 맞는 앱을 만들기

이어서 Chris DeWeese 님이 이날 밤을 요약하는 한 문장으로 발표를 시작했습니다. AI로 앱 하나를 오후 한나절이면 만들 수 있습니다. 잘못된 앱도요.

AI에게 코드를 써 달라고 해 본 사람을 묻자 거의 모든 손이 올라갔습니다. 그는 Dev Korea의 2026 한국 개발자 현황 조사를 인용했습니다. 응답한 개발자 166명 중 70%가 AI로 코드를 작성한다는 결과입니다. 그렇다면 질문은 이것입니다. 우리가 할 일은 무엇일까요?

다운로드 100만 건의 I Can Tell Time을 소개하는 Chris DeWeese

Chris 님은 2016년부터 약 200개의 앱을 출시했고, 그중 세 개로 답을 보여줬습니다.

하이퍼캐주얼 모바일 게임: 2020년에 직접 손으로 만든 퐁과 벽돌깨기를 섞은 게임으로, 미국을 포함한 여러 나라에서 카테고리 1위에 올랐습니다.
Bin Buddy: 헷갈리는 한국 분리수거를 위한 앱입니다. 쓰레기 사진을 찍으면 분리 방법을 알려줍니다. 바이브 코딩으로 만들었지만 몇 달 동안 유료 구독자는 10명도 되지 않았습니다. 계획도, 마케팅 전략도 없었습니다.
I Can Tell Time: 약 10년 전 손으로 만든 아이들용 앱으로, 다운로드가 100만 건이 넘고 상당수가 학교 iPad에서 나왔습니다. AI로 약 2주 만에 다시 만들고, 무료 체험이 있는 구독을 붙이고, 4월부터 Apple Search Ads를 시작해 월 반복 매출 약 1,100달러까지 키운 뒤 22,000달러에 매각했습니다.

두 번째와 세 번째의 차이는 코드가 아니었습니다. 계획이었습니다.

코드 전에 여섯 가지 질문

그의 워크플로에서 일은 그와 에이전트 사이에 나뉩니다. 그는 계획하고, 확인하고, 배웁니다. 에이전트는 만듭니다. 무엇이든 만들기 전에 여섯 가지 질문에 답합니다.

누구를 위한 것인가?
해야 할 단 하나의 일은 무엇인가?
언제 끝나는가?
어떻게 확인하는가?
사람들은 어떻게 찾게 되는가?
어떻게 돈을 버는가?

그는 전날 만든 회원가입 페이지로 이를 직접 보여줬습니다. 얼마나 걸릴 것 같은지 묻자 답은 1시간에서 1분까지 나왔습니다. 짧은 계획을 써서 Cursor의 클라우드 에이전트에 넘겼고, 직접 읽지도 않은 약 360줄의 코드가 나왔으며, 에이전트가 실제로 이메일을 입력하고 제출하는 엔드투엔드 테스트까지 돌렸습니다. 그는 마지막에 휴대폰으로 1분 정도 확인만 했습니다.

그의 시간 중 약 80%는 계획에 들어갑니다. I Can Tell Time의 경우, 핵심만 남을 때까지 계속 "왜?"를 물었습니다. 아이가 바늘을 끌어 시간을 읽는 인터랙티브 시계. 게임 요소도, 리더보드도 없습니다. 이 단계에서는 경쟁사도 보지 않습니다. 아이디어를 자기 것으로 만드는 건 자신의 경험과 관점이기 때문입니다.

그 절제가 없으면 어떻게 되는지도 보여줬습니다. 6년 동안 손대지 않은 게임 코드베이스를 Opus 5.5에 맡기고 몇 시간 돌렸더니, 새 게임 모드, 업적, 일일 챌린지가 잔뜩 붙어 돌아왔습니다. 사람들이 테스트해 보기 전까지는 멋져 보였지만, 실제로는 헷갈렸습니다. 그의 원칙은 기능을 더하지 말고 빼라는 것입니다.

계획은 대부분 종이에서 이뤄집니다. 노트에 모든 것을 쏟아내고, 하룻밤 자고 다시 보고, 여러 AI 모델에게 허점을 찾아 달라고 합니다. 억지로 밀어붙여야 하는 아이디어라면 잘못된 아이디어입니다.

에이전트는 네 개면 충분합니다

만들 때는 네 개를 씁니다. 거의 모든 것을 만드는 Claude Code, 컴퓨터 사용 기능으로 앱을 직접 눌러 보며 테스트하는 Codex, 그림을 위한 이미지 모델, 그리고 코드 리뷰를 위한 Codex입니다. 코드를 쓴 AI보다 다른 AI가 더 엄격하게 리뷰하기 때문입니다. 에이전트가 10개를 넘으면 같은 파일을 건드리고 서로의 작업을 고치는 데 토큰을 쓰게 된다고 했습니다.

그 위에는 일종의 비서실장 역할을 하는 Grok Bot이 있습니다. 그의 도구들, 그리고 컴퓨터 사용이 필요한 작업을 위한 헤드리스 Mac Studio와 연결되어, 실패한 것은 다시 루프로 돌아가 고쳐집니다. 지금 그가 만들고 있는 스타트업 Pilot Computer(비행 학교를 위한 비행 일정 관리 소프트웨어)는 처음부터 끝까지 이렇게 운영됩니다. 앱이 충돌하면 봇이 Sentry 로그를 읽고 고칩니다. 그는 몇 달째 버그를 직접 고친 적이 없다고 합니다.

AI가 통하지 않은 경우도 솔직하게 이야기했습니다. Claude에게 Apple Search Ads 입찰을 관리하는 도구를 만들게 했더니 계속 숫자를 짐작만 해서, 결국 포기하고 직접 했다고 합니다. 모든 것에 AI가 필요한 건 아닙니다. 그는 명령마다 승인하기보다 권한을 좁게 두고 자동 모드를 쓰며, 그가 만드는 종류의 앱에서는 유닛 테스트를 선호하지 않습니다. AI 에이전트가 앱을 끝까지 통과하지 못한다면, 그 앱이 너무 복잡한 것이라고 했습니다.

Q&A 시간에 질문하는 참가자

Q&A에서는 지금까지 중 손꼽히는 토론이 오갔습니다.

보안: 앱을 단순하게 유지하세요. 화면이 적을수록 버그가 생길 면적도 줄어듭니다. Bin Buddy는 계정 시스템을 아예 없애고 Apple의 기기 내 이미지 인식을 사용해, 서버도 해킹당할 것도 없습니다.
테스트: 한 참가자가 강하게 반론했습니다. 큰 앱에서 에이전트 기반 UI 테스트는 느리고, 결과가 일정하지 않고, 비싸다는 것입니다. 전통적인 UI 테스트는 빠르고, AI가 무언가를 망가뜨리면 실패합니다. Chris 님은 여러 번 시행착오를 거쳤다는 데 동의했습니다. 지금은 Mac Studio에서 로컬로 돌리는 Qwen 3.6이 계획을 쓰고, 빠른 컴퓨터 사용 모델인 Jev가 다음 동작을 골라 앱을 통과하는 방식으로, 거의 즉시 끝난다고 합니다.
마케팅: 사람들이 검색해서 찾는 앱이라면 Apple Search Ads에 100달러, 시각적인 앱이라면 Meta에 100달러를 넣어 보고, 조금이라도 반응이 오는 쪽에 집중하라고 했습니다.
아이디어: 그에게 가장 많은 돈을 벌어준 앱은 자신의 문제를 해결한 앱이었습니다. 실패하더라도 내 문제는 해결한 셈입니다.
매각 이유: 학교용 앱은 계절을 많이 탑니다. 매각 대금으로 장비를 사고, 더 많은 것을 만들 시간을 샀습니다.
iOS만 하는 이유: 같은 앱 기준으로 매출의 약 90%는 iOS에서, 불만의 약 60%는 Android에서 나왔다고 합니다.

링크: AI 에이전트 워크플로를 조율해 앱 만들기, 전체 발표

현장 분위기

이날 약 90명이 함께해 주셨습니다. 발표가 끝난 뒤에도 많은 분들이 남아 마지막까지 네트워킹을 이어갔습니다.

발표 후 네트워킹

감사 인사

이번 행사는 아래 분들 덕분에 가능했습니다.

무엇이 통했고 무엇이 통하지 않았는지 솔직하게 들려준 Jerome Yip, Chris DeWeese
AI Salon을 다시 서울로 가져와 준 Jay Kim와 AI Salon Seoul
이번에도 공간을 내어 준 SVC Seoul
행사를 원활하게 이끌어 준 자원봉사자분들: Brian, Jason, Oscar
그리고 함께 와서 날카로운 질문을 던지고 끝까지 이야기를 나눠 주신 모든 분들

발표 영상 보기

두 발표 모두 온라인에서 볼 수 있습니다.

Dev Korea의 모든 발표는 발표 페이지에서 볼 수 있습니다.

다음 행사에서 만나요.

다음 커리어를 준비하고 계신가요?
Dev Korea에서 dev-korea.com/jobs의 최신 채용 공고를 확인하세요. 채용 중이라면 dev-korea.com/post-a-job에서 공고를 올리고 성장하는 글로벌 테크 커뮤니티와 연결되세요.