본문 바로가기
IT와 개발/AI 이야기

Command R+: GPT-4 Turbo의 대항마가 될까?

by 도서 임보자 2024. 4. 23.

최근 대화형 AI 시장은 뜨거운 화제로 가득 차 있습니다. 새로운 모델들이 속속 등장하고 있으며, 각각의 특색과 성능을 강조하여 경쟁을 이어가고 있습니다. 그 중에서도 Cohere사의 최신 모델인 Command R+은 주목할 만한 모델로 떠오르고 있습니다.

Command R+는 Hugging Face에서 눈길을 끄는 모델로서, 다운로드 수가 약 15만회로 화제를 모으고 있습니다. 이 모델은 GPT-4 Turbo와 견주어도 손색이 없는 성능을 가진 OpenLLM을 자처하고 있는 동시에, 업계에서 최고의 RAG 솔루션을 제공한다고 주장하고 있습니다.

이러한 Command R+의 출현으로, 대화형 AI 시장은 더욱 다양화되고 활기를 띠게 되었습니다. 사용자들은 자신에게 가장 알맞은 AI를 찾기 위해 더 많은 선택지를 갖게 되었습니다. 이런 상황에서 Command R+가 어떤 위치에 있을지, 그 성능과 기능은 어떠한지 살펴보는 것은 중요합니다.

대화형 AI 시장의 발전은 더 많은 혁신과 경쟁을 야기하고 있습니다. Command R+가 이 시장에서 어떤 역할을 하게 될지 아래 소개를 살펴보시고 앞으로의 동향을 예측해 보는 것도 유익한 시간이 되리라 예상 합니다.

 

 

원문: Introducing Command R+: A Scalable LLM Built for Business (cohere.com)

 

Introducing Command R+: A Scalable LLM Built for Business

Command R+ is a state-of-the-art RAG-optimized model designed to tackle enterprise-grade workloads, and is available first on Microsoft Azure  Today, we’re introducing Command R+, our most powerful, scalable large language model (LLM) purpose-built to e

cohere.com

 

데모 페이지: Login | Cohere

 

Login | Cohere

Cohere provides access to advanced Large Language Models and NLP tools through one easy-to-use API. Get started for free.

dashboard.cohere.com

 

 

Command R+는 엔터프라이즈급 워크로드를 처리하도록 설계된 최첨단 RAG 최적화 모델이며 Microsoft Azure에서 먼저 사용할 수 있습니다.

오늘, 우리는 Command R+를 소개합니다. 이는 현실 세계의 기업 사용 사례에서 뛰어난 성능을 발휘하도록 설계된 가장 강력하고 확장 가능한 대형 언어 모델(LLM)입니다. Command R+는 고효율과 높은 정확성을 균형있게 갖춘 R-시리즈의 LLM 중 하나로, 기업들이 개념 검증을 넘어 AI를 실제 운영에 활용할 수 있도록 지원합니다

최근 출시된 Command R 모델과 마찬가지로 Command R+는 128k 토큰 컨텍스트 창을 갖추고 있으며 동급 최고의 기능을 제공하도록 설계되었습니다.

  • 환각을 줄이기 위한 인용이 포함된 Advanced Retrieval Augmented Generation (RAG)
  • 글로벌 비즈니스 운영을 지원하기 위해 10개 주요 언어로 된 다국어 지원
  • 정교한 비즈니스 프로세스를 자동화하기 위한 도구 사용

우리의 최신 모델은 Command R의 주요 강점을 기반으로 하여 전반적으로 성능을 더욱 향상시켰습니다. Command R+는 확장 가능한 시장 범주에서 유사한 모델보다 우수한 성과를 보여주며, 주요 비즈니스의 핵심 능력에서 상당히 더 비싼 모델들과 경쟁력을 갖추고 있습니다. 우리는 이러한 성과를 달성하면서 우리가 알려진 데이터 개인 정보 보호와 보안에 대한 동일한 약속을 제공합니다.

우리는 계속해서 글로벌 기업 커뮤니티에 서비스를 제공하면서 기업 AI 채택을 가속화하기 위해 Microsoft Azure와의 새로운 협력을 발표하게 된 것을 자랑스럽게 생각합니다.

 

Microsoft의 Azure AI 플랫폼 CVP인 John Montgomery는 “Cohere와의 협력은 혁신적인 Command R+ 모델을 Azure AI에 도입하여 AI 혁명을 선도하려는 우리의 헌신을 강조합니다.”라고 말했습니다. “이번 파트너십은 기업이 최고 수준의 보안 및 규정 준수를 준수하면서 더 많은 성과를 달성할 수 있도록 지원하는 포괄적인 AI 도구 제품군을 제공하겠다는 우리의 약속을 잘 보여줍니다. 우리는 함께 엔터프라이즈 AI에서 가능한 것에 대한 새로운 벤치마크를 설정하고 기술이 인간의 능력과 혁신을 증폭시키는 미래를 육성하고 있습니다."

 

(왼쪽) Azure에서 제공되는 모델들 간의 세 가지 주요 능력에 대한 성능 비교: 다국어, RAG, 그리고 도구 사용. 성능은 이후 그림에 나열된 벤치마크에서 모델 점수의 평균입니다. (오른쪽) Azure에서 제공되는 모델들의 입력 및 출력 토큰 비용을 백만 단위로 비교.

 

개발자와 기업은 오늘부터 Azure에서 Cohere의 최신 모델에 먼저 액세스할 수 있으며 곧 OCI (Oracle Cloud Infrastructure)와 추가 클라우드 플랫폼에서 사용할 수 있게 됩니다. Command R+는 Cohere의 호스팅 API에서도 즉시 사용할 수 있습니다.

 

오라클의 애플리케이션 개발 및 전략 부문 그룹 부사장인 미란다 내쉬(Miranda Nash)는 “기업들은 프로덕션 단계로 전환하기 위해 Cohere의 최신 Command R+와 같은 매우 정확하고 효율적인 AI 모델을 찾고 있는 것이 분명합니다.”라고 말했습니다. "Oracle NetSuite 및 Oracle Fusion Cloud 애플리케이션에 통합된 Cohere의 모델은 고객이 실제 비즈니스 문제를 해결하고 재무, HR, 마케팅 등의 영역에서 생산성을 향상하도록 돕고 있습니다."

 

업계 최고의 RAG 솔루션

RAG는 LLM을 채택하고 자체 독점 데이터로 맞춤화하는 기업의 기본 구성 요소가 되었습니다. Command R+는 RAG 사용 사례에서 Command R의 뛰어난 성능을 기반으로 합니다.

Command R+는 advanced RAG에 최적화되어 기업용, 안정성, 그리고 검증 가능한 솔루션을 제공합니다. 새로운 모델은 응답 정확도를 향상시키고 환각을 완화하는 인라인 인용을 제공합니다. 이 능력은 기업이 AI를 활용하여 금융, 인사, 영업, 마케팅, 고객 지원 등 다양한 업무 기능을 지원하기 위해 가장 관련성 높은 정보를 빠르게 찾아내도록 돕습니다.

 

(왼쪽) 텍스트 유창성, 인용 품질 및 전반적인 유용성을 결합한 종합 평가 체계를 사용하여 human head-to-head 선호도 결과입니다. 인용은 소스 문서의 일부에 연결된 요약 내의 문장 수준에서 측정됩니다. 우리는 250개의 매우 다양한 문서와 API 데이터와 유사한 복잡한 지침을 가진 요약 요청에 대한 자체 테스트 세트를 사용했습니다.  베이스라인 모델은 소넷(Sonnet)과 2단계 요약 첫 번째, 인용 삽입 두 번째(GPT4)와 같은 몇 가지 샷 프롬프트로 광범위하게 프롬프트 엔지니어링 된 반면 Command R+는 RAG-API를 사용합니다. (오른쪽) Wikipedia(HotpotQA) 및 인터넷(Bamboogle 및 StrategyQA)에서 동일한 검색 도구에 액세스할 수 있는 다양한 모델로 구동되는 다중 홉 REACT 에이전트의 정확성입니다. HotpotQA 및 Bamboogle의 정확성은 프롬프트된 평가자 (알려진 모델 내 편향을 줄이기 위한 Command R, GPT3.5 및 Claude3-Haiku)의 3자 다수 투표로 판단되며, 이는 1,000개의 예시 하위 집합에 대해 인간 주석을 사용하여 검증되었습니다. StrategyQA의 정확성은 예/아니오 판단으로 끝나는 긴 형식의 답변을 사용하여 판단됩니다. 우리는 (Shin et al. 2023), (Press et al. 2023) 및 (Chen et al. 2023)의 테스트 세트를 사용합니다.

도구 사용으로 복잡한 비즈니스 워크플로우 자동화

대규모 언어 모델의 주요 약속은 텍스트를 수집하고 생성할 뿐만 아니라 핵심 추론 엔진으로 작동하는 능력입니다. 즉, 결정을 내리고 도구를 사용하여 해결해야 하는 지능이 필요한 어려운 작업을 자동화할 수 있습니다. 이 기능을 제공하기 위해 Command R+에는 복잡한 비즈니스 워크플로우를 원활하게 자동화하기 위해 API 및 LangChain을 통해 액세스할 수 있는 도구 사용 기능이 제공됩니다.

도구와 결합된 당사의 모델 제품군은 고객 관계 관리(CRM) 작업, 활동, 그리고 기록을 자동으로 최신 상태로 유지하는 등 중요한 기업 사용 사례를 처리하는데 사용할 수 있습니다. 이 기능은 모델 애플리케이션을 단순한 챗봇에서 생산성 향상을 위한 강력한 에이전트 및 연구 도구로 업그레이드하는데 도움이 됩니다.

Command R+의 새로운 기능으로 이제 모델이 여러 단계에 걸쳐 여러 도구를 결합하여 어려운 작업을 수행할 수 있는 다단계 도구 사용을 지원합니다. Command R+는 도구를 사용하려고 시도하다가 실패하는 경우 (예: 도구에서 버그나 오류가 발생하는 경우)에도 자체 수정이 가능하므로 모델이 작업을 수행하고 성공률을 높이기 위해 여러 번 시도할 수 있습니다.

 

우리는 Microsoft의 ToolTalk(Hard) 벤치마크(Farn & Shin 2023)와 Berkeley의 BFCL(Function Calling Leaderboard)(Yan et al. 2024)을 사용하여 대화형 도구 사용 및 single-turn function-calling 기능을 모두 평가합니다.  ToolTalk의 경우 예측된 도구 호출은 실제 결과와 비교하여 평가되며, 전체 대화 성공 지표는 모델이 모든 도구 호출을 기억하고 원치 않는 부작용이 있는 나쁜 동작을 피하는 정도에 따라 결정됩니다. BFCL의 경우 2024년 3월 버전을 사용했으며 평가에 버그 수정을 포함하여 모든 모델이 이익을 얻었으며 실행 가능한 하위 범주에 대한 평균 함수 성공률 점수를 보고했습니다. False-negative를 방지하기 위해 추가 사람 평가 정리 단계를 통해 버그 수정을 확인했습니다.

글로벌 비즈니스 운영을 위한 다국어 지원

Command R+는 가능한 한 많은 사람, 조직, 그리고 시장에 서비스를 제공하도록 설계되었습니다. 기업과 논의하는 동안 우리는 조직이 지역과 문화 전반에 걸쳐 보다 원활하게 업무를 수행하는데 도움이 되는 다국어 기능에 대한 엄청난 수요에 직면했습니다. 이것이 바로 우리가 글로벌 비즈니스의 10개 주요 언어(영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 포르투갈어, 일본어, 한국어, 아랍어, 중국어)에 탁월한 성능을 발휘하도록 Command R+를 구축한 이유입니다.

이 다국어 기능을 통해 사용자는 모국어에 관계없이 광범위한 데이터 소스에서 정확한 응답을 생성할 수 있으므로 지리적으로 다양한 글로벌 기업을 위한 제품 기능과 도구를 강화할 수 있습니다. 우리는 전 세계 기업이 Command R 모델 제품군을 사용해 비즈니스 운영과 제품을 강화할 수 있기를 기대합니다.

 

FLoRES(프랑스어, 스페인어, 이탈리아어, 독일어, 포르투갈어, 일본어, 한국어, 아랍어, 중국어) 및 WMT23(독일어, 일본어 및 중국어) 번역 작업에 대한 모델 비교.

 

Command R+는 강력한 다국어 모델일 뿐만 아니라 R 시리즈 모델에는 시중의 다른 모델에 사용되는 토크나이저보다 비영어 텍스트를 훨씬 효과적으로 압축하는 토크나이저가 포함되어 있어 최대 57%의 비용 절감 효과를 얻을 수 있습니다.

 

다양한 언어에 대해 Cohere, Mistral(Mixtral) 및 OpenAI 토크나이저에서 생성된 토큰 수 비교(Cohere 토크나이저에서 생성된 토큰 수의 배수). Cohere 토크나이저는 동일한 텍스트를 표시하기 위해 훨씬 적은 수의 토큰을 생성하며 특히 비라틴어 스크립트 언어의 경우 대폭 감소합니다. 예를 들어 일본어의 경우 OpenAI 토크나이저는 Cohere 토크나이저보다 1.67배 많은 토큰을 출력합니다.

 

가용성 및 가격

Cohere는 주요 클라우드 제공업체와 규제산업 및 개인정보 보호에 민감한 사용 사례를 위해 온 프레미스 (On-premise)에서도 작동하여 모델을 보다 보편적으로 이용할 수 있도록 합니다.

귀사가 프로덕션 규모에서 Command R+를 사용하여 배포를 시작하는 방법을 이해하려면 영업 팀에 문의하세요.

최신 Command R+ 모델은 이제 Cohere의 데모 환경에 포함되어 누구나 간단한 채팅 인터페이스를 통해 모델을 테스트할 수 있는 실습 경험을 제공합니다.

 

Coher API 가격 $ / M 입력 토큰 $ / M 출력 토큰
Command R $0.50 $1.50
Command R+ $3.00 $15.00

 

데이터 개인정보 보호 및 보안에 대한 우리의 약속

Command R 모델 제품군을 통해 우리는 고객 데이터, 개인 정보 보호 및 안전을 보호하여 기업이 안심하고 AI를 사용할 수 있도록 최선을 다하고 있습니다. 우리는 항상 데이터, 개인 정보, 그리고 안전을 핵심으로 하는 제품을 구축해 왔으며 침해 주장에 대한 저작권 보장을 통해 고객에게 추가적인 보호를 제공했습니다. 우리는 고객이 원하지 않는 한 고객의 데이터에 접근하지 않습니다. 우리는 비공개 LLM 배포와 데이터 공유를 거부할 수 있는 옵션을 제공합니다.

 

회사의 의견:

“이제 많은 조직이 Generative AI 실험에서 확장된 구현으로 전환하는데 중점을 두고 있습니다. Accenture의 기초 모델 맞춤화 서비스를 통해 Accenture는 고객이 기업 데이터의 맥락을 파악하여 기업 전반에 걸쳐 실질적인 가치를 창출할 수 있도록 돕고 있습니다.”라고 Accenture의 최고 AI 책임자인 Lan Guan은 말했습니다. “Command R+와 같이 대규모 생산 워크로드를 처리할 수 있는 새로운 모델의 가용성은 고객에게 새로운 기회를 제공할 것이며 우리는 Cohere의 기능을 활용하여 고객이 비용, 성능 및 정확성을 기반으로 특정 요구에 맞게 생성 AI를 최적화하도록 도울 수 있기를 기대합니다.”

 

"Scale은 AI를 개발, 적용 및 평가하기 위한 데이터 기반입니다. 기업이 AI 솔루션을 최적화하고 배포하는 프로세스를 단순화하도록 지원하면서 R+가 고객이 성능을 유지하면서 TCO를 최적화하는데 어떻게 도움이 될지 기대됩니다. Command R+의 새로운 RAG 다국어 기능을 통해 추가 사용 사례에 Cohere를 배포할 수 있게 되어 Cohere와의 파트너십을 계속해서 확장하게 되어 기쁩니다." – Arun C Murthy, Scale AI 최고 제품 및 기술 책임자

 

“Cohere의 모델을 활용하면 글로벌 고용법, 급여 규정 및 과세에 대한 고객의 질문에 정확한 답변을 제공할 수 있습니다. RAG에 최적화된 Command R+ 모델을 통해 우리는 광범위한 독점 데이터 라이브러리를 활용하여 정확하고 검증 가능한 정보를 제공하는 동시에 비용 측면에서 확장 가능한 솔루션을 구축할 수 있습니다." – Willson Cross, CEO, Borderless AI

 

“우리는 Command R과 Command R+를 LangChain 생태계에 깊이 통합하기 위해 Cohere와 파트너십을 맺게 되어 기쁩니다. Command R+는 개발자가 LangChain을 사용하여 구축하는 최고의 기능 중 두 가지인 RAG 및 도구 사용에서 탁월한 기능을 갖춘 모델입니다.” – Harrison Chase, LangChain 공동 창립자 겸 CEO

 

"Microsoft Azure에서 Cohere의 Command R+ 모델 출시는 기업 고객을 위한 최신 서비스 관리 제공을 가속화하는데 도움이 되므로 Atomicwork에게 큰 승리입니다. 이제 우리는 Cohere의 Command R+ 모델 기능을 기반으로 하는 동급 최고의 엔터프라이즈 AI를 제공할 수 있습니다. 우리 고객은 신뢰할 수 있는 클라우드 플랫폼에서 디지털 업무 환경을 개선하고 기업 생산성을 가속화할 수 있습니다." – Vijay Rayapati, Atomicwork 공동 창립자 겸 CEO
반응형