AI를 도입한 기업은 이미 많다. 그런데 "그래서 뭐가 좋아졌냐"에 숫자로 답하는 곳은 훨씬 적다.
BCG가 68개국 임원 1,250명을 조사한 「The Widening AI Value Gap」(2025년 9월)에서 AI 가치를 규모 있게 실현한 기업은 5%였다. 60%는 의미 있는 가치를 만들지 못했다. McKinsey의 「The State of AI in 2026」(2026년 8월, 97개국 1,719명)에서도 AI로 EBIT의 5% 이상을 만든 고성과 기업은 6%로 전년과 같았다. 기준을 "측정 가능한 ROI가 있다"로 느슨하게 잡은 Deloitte 조사(2025년 10월, AI를 실제 운영 중인 기업 1,854곳)에서는 15%였다.
숫자는 조사마다 다르지만 방향은 같다. 도구는 같고 모델도 같은데 결과가 갈린다. 강의와 자문으로 여러 조직을 보면서 성과를 낸 쪽이 공통으로 먼저 해둔 것이 눈에 띈다.
1. 목표가 먼저, 도입이 나중
성과를 낸 곳은 AI로 무엇을 해결할지 먼저 정했다. 'AI 도입'이 목적인 곳은 예산만 썼다.
목표는 부서 단위로 구체적이어야 한다. "업무 효율화"는 목표가 아니다. 영업팀이면 "상담 후속 메일 작성 시간 절반", "전환율 2% 상승"처럼 측정할 수 있는 문장이어야 한다.
이건 체감이 아니라 조사로도 나온다. BCG 조사에서 AI가 만든 가치를 엄격하게 추적하는 비율이 상위 5% 기업은 60% 이상, 정체된 기업은 17%였다. 측정 기준이 없으면 도입한 다음에 성공인지 실패인지도 말할 수 없다.
2. 데이터를 먼저 정리했다
AI는 좋은 데이터가 있어야 작동한다. 고객 DB의 중복과 누락, 전환 기록, 상담 이력처럼 이미 갖고 있지만 흩어져 있는 것들을 먼저 손댄다.
다만 여기엔 단서를 붙여야 한다. 데이터 정비는 전제조건이지 차별 요인이 아니다. BCG는 AI 성과의 70%가 기술이 아니라 사람과 프로세스에서 나온다고 본다(10-20-70). MIT 쪽 보고서가 꼽은 실패 원인도 데이터 품질이 아니라 "깨지기 쉬운 업무 흐름, 맥락 학습의 부재, 일상 업무와의 어긋남"이었다.
"데이터부터 전부 정비한 다음에 시작하겠다"는 계획은 대개 시작을 미루는 방식으로 끝난다. 쓸 업무에 필요한 데이터만 정리하고 들어가는 게 낫다.
3. 작게 시작해서 빠르게 검증했다
전사 도입부터 시작한 곳은 대체로 멈춰 섰다. 성과를 낸 곳은 한 팀에서 파일럿을 돌렸다.
BCG가 후발 기업의 실패 패턴으로 지목한 게 정확히 이거다. "수십 개의 복잡한 업무에 자원을 얇게 펴 바르고, 몇 군데씩 자동화하는 것." 결과는 서로 연결되지 않은 이니셔티브가 자원만 먹는 상태다.
마케팅팀 하나, 업무 하나로 좁히면 실패 비용이 작다. 두 주면 결과가 나오고, 틀린 가정도 두 주만 버린다. 검증된 뒤에 옆 팀으로 넓히는 순서가 전사 선언보다 빠르다.
4. 직원이 AI를 경쟁자로 보지 않았다
기술보다 이게 어렵다. 성과를 낸 곳은 교육에 먼저 투자했다.
BCG 조사에서 2025년에 직원 절반 이상을 AI 교육 대상으로 잡은 비율은 상위 기업이 50% 이상, 후발 기업이 20%였다. 구조화된 학습 시간을 따로 확보할 확률은 6배 차이가 났고, 그 결과 일상 업무에서 AI를 쓰는 직원 수가 50% 더 많았다. Deloitte 조사에서도 ROI를 낸 기업의 40%가 전사 AI 교육을 의무화했다.
교육이 되면 활용 아이디어가 위에서 내려오지 않고 현장에서 올라온다. 어떤 업무가 반복이고 어디가 병목인지는 그 일을 하는 사람이 가장 잘 안다.
5. 성과를 재무제표에 잡히는 지표에 붙였다
"직원 만족도가 올랐다"로는 다음 예산을 받지 못한다. 투자 대비 효과가 숫자로 보이면 확장 결정이 빨라진다.
여기서 흔한 착각이 하나 있다. 매출을 올리는 쪽만 본다는 것이다. Deloitte 조사에서 AI로 매출 증가를 기대한 기업은 74%였지만 실제로 매출이 오른 곳은 20%였다. 반대로 MIT 쪽 보고서는 예산의 절반이 영업·마케팅에 가지만 정작 ROI는 백오피스 자동화에서 더 잘 나온다고 지적한다.
매출이든 비용이든 이미 보고 있는 재무 숫자에 붙이는 게 핵심이다. 어느 쪽이 빠른지는 업무마다 다르다.
조사가 더 크게 지목한 두 가지
위 다섯 개는 현장에서 반복해서 보이는 것이고, 조사에서 성과와 가장 세게 연결된 항목은 따로 있었다.
업무 흐름을 다시 짰는가. McKinsey 2026 조사에서 이익과 가장 강하게 연결된 단일 요인이 이거였다. 고성과 기업의 약 4분의 3이 AI에 맞춰 업무 흐름을 근본적으로 재설계했고, 나머지 기업은 4분의 1이었다. 기존 절차에 AI를 끼워 넣는 것과 AI를 전제로 절차를 다시 짜는 것은 다른 일이다.
경영진이 실제로 붙어 있는가. BCG 조사에서 가장 큰 격차가 나온 항목이다. 상위 5% 기업은 거의 100%가 경영진이 깊이 관여한다고 답했고, 후발 기업은 8%였다. 12배 차이다.
다시 보면
일곱 가지 모두 모델 성능과 관계가 없다. 목표, 데이터, 범위, 사람, 측정, 업무 흐름, 경영진이다. 도입이 멈추는 자리도 늘 기술이 아니라 이 중에서 빠뜨린 하나였다.
그래서 도입 상담을 받으면 어떤 도구를 쓸지보다 이 순서를 먼저 확인한다.
출처
- BCG, The Widening AI Value Gap (2025년 9월, 68개국 임원 1,250명)
- McKinsey, The State of AI in 2026 (2026년 8월, 97개국 1,719명)
- Deloitte, AI ROI: the paradox of rising investment and elusive returns (2025년 10월, 임원 1,854명)
- MIT Media Lab Project NANDA, The GenAI Divide: State of AI in Business 2025 (2025년 7월). 인터뷰 52건과 설문 153건에 기반한 예비 보고서(v0.1)다. "기업의 95%가 수익을 얻지 못했다"는 문장이 "파일럿 95% 실패"로 퍼졌지만, 보고서 자체 수치(검토 60% → 파일럿 20% → 실제 구현 5%)로 계산하면 파일럿 기준 성공률은 25%다. 이 글에서는 방향을 확인하는 용도로만 썼다.