인텔 가우디2 [인텔]

ML커먼스(MLCommons)가 60억 개의 파라미터를 가진 대규모 언어 모델인 GPT-J를 포함, 컴퓨터 비전 및 자연어 처리 모델에 대한 ‘MLPerf 추론(MLPerf Inference) 3.1’ 결과를 발표했다고 12일 밝혔다.

이날 인텔은 하바나 가우디2 가속기, 4세대 인텔 제온 스케일러블 프로세서, 인텔 제온 CPU 맥스 시리즈 제품의 성능 측정 결과를 제출했다.

인텔 데이터센터 및 AI 그룹 총괄 산드라 리베라(Sandra Rivera) 수석부사장은 “이번 ML커먼스 결과를 통해 입증된 바와 같이, 인텔은 고성능, 고효율 딥 러닝 추론 및 학습에 대한 고객의 요구를 충족하도록 설계된 강력하고 경쟁력 있는 AI 제품 포트폴리오를 보유하고 있다”라며 “모든 AI 모델 스펙트럼에 걸쳐 있는 AI 제품군은 가장 작은 모델에서부터 가장 큰 모델까지 다양하며 가격 대비 성능이 뛰어나다”라고 설명했다.

하바나 가우디2의 GPT-J 추론 성능 결과는 경쟁력 있는 성능을 입증했다. GPT-J-99 및 GPT-J-99.9에 대한 가우디2 추론 성능은 각 서버 쿼리에 대해 초당 78.58회 및 오프라인 샘플에 대해 초당 84.08회를 기록했다.

가우디2는 엔비디아 A100 대비 서버 모드에서 2.4배, 오프라인 모드에서 2배 높은 성능을 제공한다. 가우디2 성능은 FP8을 사용해 신규 데이터 유형에서 99.9%의 정확도를 달성했다.

인텔은 매 6주에서 8주마다 출시되는 가우디2 소프트웨어 업데이트를 통해 MLPerf 벤치마크에서 성능 향상과 확장된 모델 범위를 지속적으로 제공할 예정이다.

일반적으로 AI 성능을 평가하는 가장 신뢰할 만한 지표인 MLPerf는 공정하고 반복 가능한 성능 비교를 가능하게 한다. 인텔은 다음 MLPerf 벤치마크에서 새로운 AI 트레이닝 성능 결과를 제출할 계획이다.