AI Apocalypse: 80% of Projects Crash and Burn

현재 많은 기업에서 AI 모델을 출시하고 있으며, 몇몇 기업은 이미 성공적인 모습을 보여주고 있습니다. 이러한 선도 기업들의 모습은 후발주자들이 보기에 손에 잡힐듯한 위치에 아른아른거리는 아지랑이처럼 보일 수 있습니다.

 

하지만 생각만큼 선도 기업들과 어깨를 나란히 하는 후발주자들이 많지 않습니다. 왜 그럴까요?

 

이 보고서가 저 물음에 대한 완벽한 대답은 아니지만 성공하지 못하는 원인 중의 일부를 설명하고 있는 것으로 보입니다. 부디 좋은 참고가 되었으면 합니다.

 

 

출처: AI Apocalypse: 80% of Projects Crash and Burn, Billions Wasted says RAND Report - SalesforceDevops.net

AI Apocalypse: 80% of Projects Crash and Burn, Billions Wasted says RAND Report - SalesforceDevops.net

 

 

 

 

RAND Corporation의 새로운 보고서는 과장된 홍보에도 불구하고 대부분이 실패하는 인공지능 (AI) 프로젝트의 냉정한 현실을 보여줍니다. 65명의 숙련된 데이터 과학자와 엔지니어와의 인터뷰를 바탕으로 한 이 연구는 이러한 실패의 근본 원인을 밝히고 성공을 위한 로드맵을 제공합니다.

보고서는 "일부 추정에 따르면 AI 프로젝트의 80% 이상이 실패합니다."라고 말합니다. "이는 AI를 포함하지 않는 기업 정보 기술 (IT) 프로젝트의 높은 실패율의 두 배입니다."  2013년에서 2022년 사이에 민간 부문의 AI 투자가 18배나 증가하면서 그 어느 때보다 위험이 커졌습니다.

 

리더십 실패: 맹인이 맹인을 인도하다

AI 프로젝트가 실패하는 가장 흔한 원인은 무엇일까요? 기술이 아니라 최고위층 사람들입니다. 기업 리더는 종종 AI를 사용하여 해결해야 할 문제를 오해하거나 잘못 전달합니다. 한 인터뷰 대상자는 "매주 판매 보고서를 받기 때문에 훌륭한 데이터가 있다고 생각하지만 현재 보유한 데이터가 새로운 목적을 충족하지 못할 수도 있다는 사실을 깨닫지 못합니다." 라고 말했습니다.

많은 임원은 영업 사원의 영업과 인상적인 시연에 힘입어 AI가 무엇을 이룰 수 있는지에 대한 기대치를 부풀렸습니다. 그들은 성공적인 AI 구현에 필요한 시간과 리소스를 과소평가합니다. 한 인터뷰 대상자는 우선순위의 변화와 비현실적인 일정으로 인해 "종종 모델이 원래 가능했던 것의 50%만 제공됩니다."라고 말했습니다.

이 보고서는 기업 리더와 기술 팀 간의 중요한 단절을 강조합니다. 프로젝트 목표에 대한 명확한 의사 소통과 이해가 없다면 AI 이니셔티브는 처음부터 실패할 운명입니다. 리더는 AI 역량과 한계에 대해 배우는 데 시간을 투자해야 하며, 기술 팀은 복잡한 개념을 비즈니스 용어로 설명하는 능력을 향상시켜야 합니다.

또한 이 연구는 많은 조직이 성공적인 AI 구현에 필요한 인내심이 부족하다는 것을 발견했습니다. 프로젝트는 종종 실제 가치를 입증할 기회를 갖기 전에 조기에 포기되거나 새로운 우선순위로 전환됩니다. 이러한 단기적 사고방식은 AI의 잠재력을 훼손하고 상당한 자원을 낭비합니다.

 

데이터 딜레마: 쓰레기 입력, 쓰레기 출력

데이터 품질이 두 번째로 큰 장애물로 나타났습니다. 한 인터뷰 대상자는 "AI의 80%는 데이터 엔지니어링의 더러운 작업입니다."라고 말했습니다. "더러운 작업을 하는 훌륭한 사람이 필요합니다. 그렇지 않으면 그들의 실수가 알고리즘을 오염시킵니다."

많은 조직에서 효과적인 AI 모델을 훈련하기에 충분한 고품질 데이터가 부족합니다. 규정 준수 또는 로깅 목적으로 수집되는 기존 데이터 세트는 AI 훈련에 적합하지 않을 수 있습니다. 방대한 양의 데이터가 있더라도 불균형하거나 AI 애플리케이션에 필요한 컨텍스트가 부족할 수 있습니다.

이 보고서는 데이터 엔지니어의 심각한 부족을 강조하며, 이들을 "데이터 과학의 배관공"이라고 설명합니다. 데이터 엔지니어링 역할의 높은 이직률은 지식 손실과 프로젝트 비용 증가로 이어집니다. 조직은 종종 데이터 엔지니어의 중요한 역할을 과소평가하여 이 필수 분야에서 인재 유출로 이어집니다.

또 다른 과제는 AI 팀 내의 도메인 전문 지식 부족입니다. 데이터 과학자는 종종 자신이 작업하는 비즈니스 컨텍스트에 대한 깊은 이해가 부족하여 데이터를 잘못 해석하고 모델 설계에 결함이 생깁니다. 보고서는 정확하고 관련성 있는 데이터를 기반으로 모델을 구축하기 위해 도메인 전문가와 AI 실무자 간의 긴밀한 협력이 필요함을 강조합니다.

 

반짝이는 대상 쫓기: 엔지니어가 집중력을 잃었을 때

이 연구에서는 엔지니어가 때때로 프로젝트 실패에 기여한다는 사실을 발견했습니다. 많은 데이터 과학자와 엔지니어는 더 간단한 솔루션으로 충분할 때에도 최신 기술을 사용하는 데 끌립니다. 보고서는 "AI 프로젝트는 의도한 최종 사용자를 위한 실제 문제를 해결하는 데 집중하는 대신 사용되는 기술에 집중할 때 종종 실패합니다."라고 언급합니다.

"반짝이는 대상"을 쫓는 이러한 경향은 유지 관리가 어렵고 이해 관계자에게 설명하기 어려운 불필요하게 복잡한 솔루션으로 이어질 수 있습니다. 또한 팀이 문제에 가장 적합하지 않을 수 있는 최첨단 기술을 배우고 구현하는 데 시간과 노력을 투자함에 따라 종종 자원이 낭비됩니다.

보고서는 조직이 혁신과 실용성 사이에서 균형을 맞춰야 한다고 제안합니다. 기술 발전에 발맞추는 것도 중요하지만, 주된 초점은 항상 실제 비즈니스 문제를 효과적으로 해결하는 데 두어야 합니다. 이를 위해서는 많은 기술 전문가의 사고방식을 바꿔야 할 수도 있고, 조직이 AI 팀에 인센티브를 제공하고 평가하는 방식을 바꿔야 할 수도 있습니다.

 

인프라: 성공을 위한 매력 없는 기반

인프라에 대한 투자 부족은 AI 프로젝트 실패의 또 다른 주요 요인으로 떠올랐습니다. 조직은 종종 데이터 관리 및 모델 배포를 위한 적절한 시스템이 부족합니다. 이 보고서는 "데이터 엔지니어와 ML 엔지니어에 투자하면 새로운 AI 모델을 개발하고 프로덕션 환경에 배포하는 데 필요한 시간을 상당히 단축할 수 있다"고 강조합니다.

많은 회사가 먼저 필요한 기초를 마련하지 않고 AI 프로젝트에 뛰어들고 싶어합니다. 이는 성공적인 프로토타입을 확장하는 데 어려움, 일관되지 않은 데이터 품질, 배포된 모델을 유지 관리하고 업데이트하는 데 어려움을 겪는 등 많은 문제로 이어질 수 있습니다.

이 보고서는 조직이 AI 구현에 대해 보다 전체적인 관점을 가져야 한다고 주장합니다. 즉, 강력한 데이터 파이프라인, 자동화된 테스트 및 배포 시스템, 프로덕션에서 모델 성능을 모니터링하는 도구에 투자해야 한다는 의미입니다. 이러한 투자는 최첨단 AI 알고리즘만큼 흥미롭지 않을 수 있지만 장기적인 성공을 위해서는 필수적입니다.

또한 이 연구에서는 많은 조직이 성공적인 AI 프로토타입에서 프로덕션 준비 시스템으로 전환하는 데 어려움을 겪고 있다는 사실을 발견했습니다. 이러한 "last mile" 문제는 종종 유망한 프로젝트를 탈선시키는데, 팀이 모델이 실제 상황에서 제대로 작동하지 않거나 생산 데이터의 규모를 처리할 수 없다는 것을 발견하기 때문입니다.

 

권장 사항: AI 열망에 대한 현실 확인

RAND 보고서는 AI 프로젝트 성공률을 개선하고자 하는 조직에 몇 가지 권장 사항을 제공합니다.

1. 기술 직원이 프로젝트 목적과 비즈니스 맥락을 이해하도록 합니다. 보고서는 "프로젝트의 의도와 목적에 대한 오해와 의사소통 부족이 AI 프로젝트 실패의 가장 흔한 이유"라고 말합니다. 이를 위해서는 비즈니스 팀과 기술 팀 간의 지속적인 대화와 공유된 이해와 어휘를 구축하려는 노력이 필요합니다.
2. 지속적인 문제를 선택합니다. "리더는 AI 프로젝트를 시작하기 전에 각 제품 팀이 최소 1년 동안 특정 문제를 해결하기 위해 전념할 준비가 되어 있어야 합니다." 이 권장 사항은 빠른 승리를 쫓거나 우선순위를 끊임없이 바꾸는 경향에 맞서 싸웁니다. 조직은 장기적이고 영향력이 큰 문제에 집중함으로써 AI 이니셔티브에 성공하는 데 필요한 시간과 리소스를 제공할 수 있습니다.
3. 기술이 아닌 문제에 집중합니다. "AI의 최신 최고 발전을 그 자체를 위해 추구하는 것은 실패로 가는 가장 빈번한 경로 중 하나입니다." 보고서는 최첨단 솔루션이 아니더라도 작업에 적합한 도구를 선택하는 것의 중요성을 강조합니다. 이를 위해서는 조직이 기술 팀을 평가하고 보상하는 방식을 변경해야 할 수 있습니다.
4. 인프라에 투자합니다. "데이터 거버넌스와 모델 배포를 지원하는 인프라에 대한 사전 투자는 AI 프로젝트를 완료하는 데 필요한 시간을 상당히 줄일 수 있습니다." 이러한 투자는 AI 연구만큼 화려하지 않을 수 있지만 장기적인 성공에 필수적입니다. 여기에는 견고한 데이터 파이프라인 구축, 모델 및 데이터에 대한 버전 제어 구현, 배포된 AI 솔루션을 모니터링하고 유지 관리하기 위한 시스템 개발이 포함됩니다.
5. AI의 한계를 이해하십시오. "AI는 어려운 문제를 사라지게 할 수 있는 마법의 지팡이가 아닙니다. 어떤 경우에는 가장 진보된 AI 모델조차도 어려운 작업을 자동화할 수 없습니다." 이 보고서는 AI가 할 수 있는 일과 할 수 없는 일을 보다 현실적으로 평가하여 조직이 기대치를 낮추고 AI가 진정으로 가치를 더할 수 있는 분야에 집중할 것을 촉구합니다.

 

학술적 관점: 출판되거나 사라지거나

이 연구는 또한 학계에서의 AI 연구를 조사하여 출판 압력과 명예 추구가 종종 실제 적용을 가리는 것을 발견했습니다. 보고서는 "AI 프로젝트가 출판으로 이어지지 않으면 그 프로젝트는 성공으로 여겨지지 않았다"고 언급하며 학문적 인센티브와 실제 영향 간의 불일치를 강조했습니다.

출판에 대한 이러한 집중은 연구자들이 상당한 실제 영향을 미칠 수 있는 점진적인 개선보다 참신하지만 비실용적인 접근 방식을 우선시하게 만들 수 있습니다. 이 보고서는 학계 기관이 AI 연구의 성공에 대한 기준을 확대하여 실제 적용 또는 산업 협력과 관련된 지표를 포함할 수 있도록 고려해야 한다고 제안합니다.

또한 이 연구는 많은 학계 연구자들이 고품질의 실제 데이터 세트에 접근하는 데 어려움을 겪고 있음을 발견했습니다. 이는 학계 연구와 실제 적용 간의 단절로 이어질 수 있습니다. 이 보고서는 필요한 개인 정보 보호 및 보안 조치를 유지하면서 연구자들에게 보다 관련성 있는 데이터를 제공하기 위해 학계, 산업 및 정부 기관 간의 협업을 확대할 것을 권장합니다.

 

AI 산업에 대한 경종

이 RAND 보고서는 AI 산업에 절실히 필요한 현실 확인 역할을 합니다. AI의 잠재력은 여전히 ​​엄청나지만 성공적인 구현으로 가는 길은 과제로 가득합니다. 조직은 과장된 광고와 현실 사이의 격차를 메워야 하며, 데이터 품질, 인프라, 기술 및 비즈니스 팀 간의 명확한 커뮤니케이션과 같은 견고한 기본 사항에 집중해야 합니다.

한 인터뷰 대상자가 현명하게 지적했듯이, "이해 관계자들은 프로세스에 참여하고 싶어합니다. '예상보다 시간이 오래 걸리네요. 2주 후에 다시 연락드리겠습니다.'라고 말하면 좋아하지 않습니다. 그들은 호기심이 많습니다." 이는 AI 프로젝트 전반에 걸쳐 지속적이고 투명한 커뮤니케이션이 필요함을 강조하며, 모든 이해 관계자에게 정보를 제공하고 참여를 유지합니다.

이 보고서는 또한 AI 개발에서 인내심과 끈기의 중요성을 강조합니다. 빠른 승리는 드물며, 조직은 AI 이니셔티브에서 실질적인 이점을 보기 위해 장기적인 헌신을 준비해야 합니다. 이를 위해서는 조직 문화와 기대치를 바꾸어 단기적 사고에서 벗어나 AI 구현에 대한 보다 전략적이고 장기적인 관점으로 전환해야 할 수 있습니다.

이러한 교훈을 경청하고 AI 개발에 대한 보다 현실적이고 인내심 있는 접근 방식을 채택함으로써 조직은 이 혁신적인 분야에서 성공할 가능성을 높일 수 있습니다.

AI의 미래는 밝습니다. 하지만 그 앞에 놓인 매우 인간적인 과제를 헤쳐나갈 수 있는 사람에게만 해당됩니다. 산업이 성숙해짐에 따라 혁신과 실용성, 기술적 우수성과 사업적 통찰력을 균형 있게 조절할 수 있는 사람이 AI의 진정한 잠재력을 활용할 수 있는 최적의 위치에 있게 될 것입니다.