GTC 2024 Keynote with NVIDIA

NVIDIA의 CEO Jensen Huang은 GTC March 2024 keynote에서 Blackwell이라는 새로운 GPU와 다양한 AI 응용 프로그램을 소개하고 있습니다. Blackwell GPU는 고성능 컴퓨팅 및 AI 연산에 최적화된 혁신적 기술로, NVIDIA의 AI 혁신을 주도할 것으로 기대하고 있습니다. 또한, Earth 2 프로젝트를 통해 기후 예측 모델을 제공하고, NIM를 통해 효율적이고 직관적인 학습 모델 개발 환경을 제시하고 있습니다.

이와 함께, AI 파운드리는 종합 플랫폼으로서의 역할을 강조하고 있으며, NeMo 마이크로서비스와 GTC Cloud는 AI 개발과 배포의 효율성을 극대화하는 솔루션으로 소개 하고 있습니다.

 

Jensen Huang이 발표한 것처럼 NVIDIA가 AI 기술 혁신과 업계의 혁명을 주도하여 미래의 AI 생태계를 선도할 수 있을지 keynote 영상을 통해 확인해 보는 것도 좋은 시간이 될 것으로 보입니다.

 

 

출처: https://youtu.be/Y2F8yisiS6E

 

 

GTC에 오신 것을 환영합니다

• 이 컨퍼런스는 Nvidia의 창업부터 현재까지의 여정과 가속화된 컴퓨팅, 인공 지능 및 지능형 소프트웨어 등을 다룹니다.
• Jensen Huang의 프레젠테이션은 가속화된 컴퓨팅의 중요성, 새로운 산업의 출현, 그리고 이에 따른 소프트웨어, 애플리케이션, 그리고 다음 단계에 대한 논의를 다룹니다.
• 또한 Omniverse라는 가상 세계에서 컴퓨터 그래픽, 물리학, 그리고 인공 지능이 만나는 시뮬레이션을 소개하며 이를 통해 가속화된 컴퓨팅의 중요성과 효과를 설명합니다.
• NVIDIA의 목표는 지속가능한 방식으로 더 많은 컴퓨팅을 소비하면서도 가격을 낮출 수 있도록 가속화된 컴퓨팅을 도입하는 것입니다.

NVIDIA의 가속 컴퓨팅 파트너십과 AI 모델 규모 확장

• NVIDIA는 CAE, EDA 및 SDA 업계를 가속화하여 디지털 트윈의 미래를 창조하고자 합니다.
• 이를 위해 ANSYS, Synopsis 및 Cadence와 파트너십을 맺고 있습니다.
• 이 회사들과의 파트너십을 통해 NVIDIA는 기술을 가속화하고, 소프트웨어 정의를 통해 TSMC와 같은 제조사와 혁신적인 AI 모델을 적용할 수 있는 환경을 조성하고 있습니다.
• 또한, NVIDIA는 증폭된 계산 요구 사항을 충족하기 위해 더 큰 GPU를 필요로 하기 때문에, DGX-1과 같은 슈퍼컴퓨터를 개발하고 있습니다.
• 이러한 노력을 통해 NVIDIA는 GPT와 같은 다중모달이면서 더 큰 AI 모델을 훈련시키는 방법을 연구 중입니다.
• 이러한 모델은 비디오 시청과 같은 방대한 데이터를 기반으로 훈련되어 물리학적인 이해와 상식을 갖춘 AI 모델이 될 것입니다.

Blackwell 칩과 AI 훈련

• 새로운 Blackwell 칩에 대해 발표합니다.
• Blackwell은 Hopper와 호환되는 대규모 모델로, 2080억개의 트랜지스터와 10TB의 데이터 처리 능력을 가지고 있습니다.
• Blackwell은 Hopper와 호환되는 형태에 사용되며, 이러한 호환성을 유지하며 Blackwell과 Hopper를 모두 사용할 수 있는 다양한 시스템이 있습니다.
• Blackwell은 Grace CPU와 연결된 두 개의 Blackwell 칩과 네 개의 Blackwell 다이 (집적 회로)가 있는 프로토타입 보드로, Blackwell과 Grace CPU 간의 매우 빠른 칩 간 연결을 가지고 있습니다.
• 그 외에도 새로운 Transformer 엔진과 다섯 번째 세대의 MV Link가 탑재되어 있습니다.
• 이러한 기능을 통해 수십억 개의 GPU가 몇 주 동안 동작하는 대규모 컴퓨팅 시스템에서도 효과적으로 동기화 및 연산이 가능하도록 개선되었습니다.

Blackwell 칩과 AI 보안성 강화와 압축 기능

• Blackwell 칩은 자가 테스트와 신뢰성 엔진을 가지고 있어서 안정적으로 동작할 수 있습니다.
• AI 보안성을 강화하기 위해 데이터 암호화 기능과 높은 속도의 압축 엔진도 추가되었습니다.
• Blackwell 칩은 훈련용으로는 Hopper보다 FP8 성능이 2.5배 높고, FP6와 FP4 새 포맷을 통해 메모리의 대역폭이 향상되어 훈련 속도도 향상됩니다.
• 또한 추론에 있어서 5배의 성능 향상을 가지고 있습니다.
• 미래에는 생성형 AI로 컴퓨팅 방식이 변화할 것으로 보여, 컴퓨팅 성능을 지속적으로 향상시키기 위해 더 큰 GPU 칩을 개발 중입니다.
• 또한, 50억 개의 트랜지스터로 이루어진 Envy 링크 스위치 칩을 개발하여 여러 GPU가 서로 통신할 수 있는 시스템을 만들었습니다.
• 8년 동안 컴퓨팅 성능을 1000배까지 향상시켰으며 앞으로 2년 동안 더 향상시킬 계획입니다.

세계 최초의 엑사플롭 AI 시스템, 하나의 랙에 구현

• OpenAI에게 제일 먼저 전달한 첫 번째 0.17 페돕플롭 머신은 이제 훈련용 엑사플롭에 가까운 720 페돕플롭으로, 하나의 랙에서 세계 최초의 엑사플롭 AI 시스템이 되었습니다.
• 이 시스템은 5,000개의 MV Link 케이블을 사용하여 인터넷의 총 대역폭을 능가하는 초당 130테라바이트의 대역폭을 달성했습니다.
• 또한, MV Link 스위치를 사용함으로써 계산을 위해 20킬로와트를 절약하여 수냉식 환경에서 총 120킬로와트의 전력을 소비합니다.
• Hopper로 GPT 모델을 훈련하려면 8,000개의 GPU가 필요하고 15메가와트를 소비하지만, Blackwell을 사용하면 2,000개의 GPU와 4메가와트만 필요합니다.
• 대화형 속도로 토큰을 생성하고 여러 GPU에 작업을 분산하는 이 시스템의 기능은 전체 비용을 절감하고 서비스 품질을 보장하는 데 매우 중요합니다.

Blackwell의 AI 생성 능력과 파라미터

• Blackwell은 AI Factory의 역할을 할 데이터 센터에서 수익을 창출하고 지능을 생성하는 데 중요한 역할을 할 예정입니다.
• Blackwell은 트리리언 파라미터 생성 AI를 위해 설계된 시스템으로, 이러한 AI의 추론 능력은 Hopper 대비 30배로 높습니다.
• Blackwell은 대규모 언어 모델에 대한 추론 능력이 뛰어나며, 새로운 Tensor 코어, Transformer 엔진, 그리고 MV Link 스위치를 통해 성능을 지속시킬 수 있습니다.
• 이는 다양한 모델과 시스템 구성이 가능한 AI 생태계에서 중요한 역할을 합니다.
• CS (Compute Service Provider), OEM 및 ODM, 지역 클라우드, Sovereign AI, 그리고 통신회사 등이 Blackwell을 위해 등록하고 있으며, 이는 엔비디아 역사상 가장 성공적인 제품 출시가 될 것으로 기대됩니다.
• AWS, Google, Oracle 및 Microsoft와 같은 여러 파트너가 Blackwell에 대비하여 다양한 형태의 협력을 추진 중입니다.

지속 가능한 미래를 위한 디지털 트윈 기반의 기업 운영

• Azure Nvidia djx cloud부터 Azure의 Nvidia Omniverse, NVIDIA Healthcare 등이 마이크로소프트 플랫폼인 Microsoft fabric과 밀접하게 통합되어 있습니다.
• 디지털 트윈은 현실의 복잡한 것을 최초로 완벽하게 구축하도록 도와주는 기술로, 굉장히 확산되고 있습니다.
• Wistron은 Nvidia 가속 컴퓨팅 수요를 충족하기 위해 dgx 및 hgx 공장의 디지털 트윈을 Omniverse SDK 및 API로 개발된 특수 소프트웨어를 사용하여 구축하고 있습니다.
• 이를 통해 공장 작업자 효율성이 51% 향상되었고, 소요 시간도 절반으로 단축되었습니다.
• 또한, 디지털 트윈은 실시간 IoT 데이터를 이용하여 생산라인의 모든 기계를 모니터링하고, 머신러닝과 Omniverse를 통해 생산 라인 전체의 End-to-end Cycle Time을 50%, 결함율을 40% 줄일 수 있게 되었습니다.
• 또한, NVIDIA의 지능형 예측 AI 모델인 Cordi를 통해 기후 예측 및 극한 날씨 추적이 가능해졌습니다.

날씨 시뮬레이션 및 AI 기반 신약 개발 분야의 혁신

• NVIDIA는 웨더 컴퍼니와 협력하여 전 세계 날씨 예측을 개선하고 고해상도 지역 일기 예보를 위해 Earth-2와 Cordi를 통합합니다.
• 또한, 획기적인 전산 약물 설계는 신속한 분자 스크리닝, 단백질 구조 예측 및 분자 생성을 가능하게 하여 신약 개발 프로세스를 크게 가속화합니다.
• 강력한 신약 개발 워크플로우를 생성하고 전산 약물 설계를 재창조하는 플랫폼인 Biion NeMo를 소개합니다.
• 엔비디아 추론 마이크로서비스 (NIM)는 필요한 모든 종속성이 패키징되어 있고 다양한 GPU 구성에 최적화된 사전 훈련된 모델로, 간편한 통합 및 배포를 위한 간단한 API를 제공합니다.
• 앞으로 소프트웨어 개발은 미션 목표를 실행하기 위한 AI 모델 조립에 크게 의존할 것으로 예상되며, NIM은 복잡한 작업을 간소화하고 정확한 결과를 생성하는 데 중요한 역할을 할 것입니다.

미래에도 경쟁력이 있는 엔비디아의 인공지능 산업 플랫폼

• NVIDIA는 고객의 데이터 센터나 클라우드 환경에서 작동할 수 있는 NIM을 통해 새로운 가치를 창출하고자 합니다.
• NIM을 사용하여 챗봇을 만들고 AI 동료로서 활용할 수 있습니다.
• 또한 NeMo 마이크로서비스를 이용하여 데이터를 준비하고 AI를 교육하고 평가할 수 있습니다.
• NVIDIA는 AI 모델의 기술 개발과 수정을 도와주는 툴을 만들고 인프라를 제공하여 AI 파운드리 역할을 수행하고 있습니다.
• 또한, 회사 내부 데이터를 학습하고 AI 데이터베이스를 만들어 채팅할 수 있게 하는 서비스인 NeMo Retriever도 제공합니다.
• 함께 사용할 수 있는 서비스에는 디지털 인간 NIM인 다이애나도 있습니다.
• 이는 엔비디아가 AI를 활용하여 기업 IT 산업을 활성화하고자 하는 의지로 나타나며, 엔비디아가 가장 중요하게 여기는 3대 기둥은 NIM, NeMo 마이크로서비스, dgx Cloud입니다.

NVIDIA AI 파운드리와 업계 선두주자들의 파트너십

• NVIDIA AI 파운드리는 SAP, 서비스나우, 코히시티, 스노우플레이크, 넷앱과 협력하여 AI 기반 코파일럿 및 챗봇을 개발하고 있습니다.
• 이 협력에는 다양한 기업 운영을 위한 AI 에이전트 및 가상 비서를 구축하기 위해 엔비디아의 NeMo 및 DGX 클라우드 서비스를 활용하는 것이 포함됩니다.
• AI의 다음 물결은 물리적 AI로, AI 시스템이 물리적 세계를 이해하고 적응해야 하며, 이를 위해서는 인간의 사례를 articulation 형태로 보고, 이해하고, 적응하기 위한 3 대의 컴퓨터가 필요합니다.
• NVIDIA는 로봇 공학을 위한 엔드 투 엔드 시스템을 개발해 왔으며, 여기에는 AI 시스템 DGX, 자율 프로세서 Jetson, Azure 클라우드에서 호스팅되는 가상 세계 Omniverse가 포함됩니다.
• 100,000피트 규모의 창고로 구성된 NVIDIA의 Omniverse 디지털 트윈은 실제 산업 공간에 대한 AI 에이전트의 적응성을 평가하고 개선하기 위한 시뮬레이션 환경으로 작동합니다..

NVIDIA의 메트로폴리스 비전 재단과 Omniverse 통합

• NVIDIA의 메트로폴리스 비전 파운데이션 모델은 AMR이 생성형 AI를 통해 주변을 파악하고 임무 효율성을 최적화할 수 있도록 지원합니다.
• NVIDIA 추론 마이크로서비스 (NIM)로 실행되는 실시간 AI는 센서 데이터를 시뮬레이션하고 지속적인 개선을 위해 물류창고의 물리적 트윈에 AI를 배포합니다.
• Omniverse 클라우드 API는 디지털 트윈 기능에 대한 액세스를 간소화하여 자연어 커뮤니케이션과 3D 협업 및 설계를 위한 시맨틱 장면 인코딩을 가능하게 합니다.
• Seamans는 산업 플랫폼에 NVIDIA의 AI 및 Omniverse 기술을 통합하여 산업 규모의 디자인 및 제조 프로젝트를 위한 데이터 상호 운용성 및 물리 기반 렌더링을 지원합니다.
• 닛산과 비전 프로는 Omniverse와 통합되어 로봇 공학 및 자동차 산업을 위한 원활한 워크플로 및 디자인 툴 통합을 지원합니다.

NVIDIA 차세대 로보틱스 및 AI 기술 공개

• NVIDIA는 세계 최대 전기자동차 회사인 BYD와 협력하여 트랜스포머 엔진용으로 설계된 차세대 Autonomous Vehicle (AV) 컴퓨터인 Thor를 채택 하였습니다.
• 이 회사는 Thor AV 컴퓨터와 로봇 컴퓨터인 젯슨, 그리고 인식 기반 로봇 프로그래밍을 위한 새로운 고급 SDK인 아이작 퍼셉터를 도입하고 있습니다.
• 또한, NVIDIA는 인간과 유사한 로봇을 위한 기술을 활용하여 팔을 제조하고 휴머노이드 로봇의 기반을 마련하기 위한 아이작 매니퓰레이터를 개발하고 있습니다.
• 프로젝트 그루트는 휴머노이드 로봇 학습을 위한 범용 모델로, 로봇이 인간의 시연을 통해 학습하고 정밀하게 작업을 수행할 수 있도록 지원합니다.
• 또한 NVIDIA의 혁신에는 AI 기반 로봇을 위한 빌딩 블록과 지능형 애플리케이션을 만들기 위한 생성형 AI, 1조 개 매개변수 컴퓨터 및 NIM을 통한 새로운 소프트웨어 작업 방식이 포함됩니다