NVIDIA: 컴퓨팅 플랫폼이 칩 하나보다 더 큰 의미를 갖는 이유

연산 능력에서 유용한 작업으로. AI로 생성한 개념도.

컴퓨터에 수천 장의 사진에서 비슷한 장면을 찾아 달라고 요청한다고 생각해 보자. 성능 좋은 칩을 사는 것은 그 일을 가능하게 하는 과정의 일부일 뿐이다. 누군가는 이미지를 준비하고, 적합한 모델을 제공하고, 하드웨어에 무엇을 계산할지 알려 주고, 결과를 실제로 쓸 수 있는 형태로 바꿔야 한다. NVIDIA가 중요한 이유는 이 작업 흐름을 구성하는 여러 부분을 제공하기 때문이다.

칩이 쓸모를 발휘하려면 연결 수단이 필요하다

그래픽 처리 장치인 GPU는 병렬 처리에 적합한 계산을 한꺼번에 많이 수행할 수 있다. 이는 이미지를 그리는 작업뿐 아니라 여러 AI 모델 내부의 수치 연산에도 도움이 된다. 하지만 칩이 사진의 의미를 판단하는 것은 아니다. 무엇을 할지는 모델과 프로그램이 정한다.

NVIDIA의 CUDA 플랫폼은 프로그램을 자사의 GPU와 연결한다. CUDA 플랫폼 문서는 이러한 작업을 개발하고 실행하며 분석하는 도구를 설명한다. 라이브러리는 재사용할 수 있는 연산을 제공하고, 컴파일러는 코드를 기계가 실행할 수 있는 명령으로 변환한다. 개발자가 모든 연산을 처음부터 만들 필요는 없다.

플랫폼은 작업 흐름 전체를 아우른다

작업장을 떠올려 보자. 좋은 기계도 도구, 사용 지침, 작업 방식이 서로 맞물릴 때 더 유용해진다. 컴퓨팅에서는 AI 프레임워크가 개발자의 모델 구성을 돕고, 수치 연산 라이브러리가 자주 쓰는 연산을 수행하며, 드라이버가 소프트웨어의 하드웨어 사용을 돕는다. 이런 계층들이 갖춰져야 더 많은 사람이 전문적인 컴퓨팅을 활용할 수 있다.

이러한 편리함은 의존성도 만든다. 프로그램이 특정 라이브러리에 의존하거나 한 종류의 장치를 위해 작성한 코드를 포함할 수 있다. 따라서 칩을 바꾸려면 단순히 부품만 교체하는 것이 아니라 소프트웨어를 수정하고 점검해야 할 수도 있다.

예를 들어 PyTorch 설치 안내에는 CPU, CUDA, ROCm 등 여러 컴퓨팅 옵션이 제시되어 있다. 이는 대안이 존재한다는 뜻이다. 모든 모델, 확장 기능, 사용자 정의 연산을 아무 수정 없이 다른 옵션으로 옮길 수 있다는 뜻은 아니다.

칩만 보지 말고 전체 작업을 평가하라

사진 이야기로 돌아가 보자. 이미지를 불러오고 옮기는 데 대부분의 시간이 걸린다면, 산술 연산만 빨라져서는 기다리는 시간이 별로 줄지 않을 수 있다. NVIDIA의 성능 가이드 역시 개발자에게 애플리케이션을 살펴보고 CPU와 GPU 사이의 불필요한 전송을 줄이라고 권한다.

도움이 되는 질문은 구체적이다. 전체 작업에 얼마나 걸리는가? 결과가 충분히 좋은가? 실행하고 유지하는 비용은 얼마인가? 답은 실제 작업 부하에 따라 달라진다. 부품 하나의 대표적인 속도 수치만으로는 이 질문들에 답할 수 없다.

유용한 도구를 선택하되 바꿀 여지를 남겨라

통합이 잘 된 플랫폼은 오늘의 수고를 덜어 줄 수 있다. 하지만 그 플랫폼을 중심으로 소프트웨어, 데이터, 팀의 경험이 쌓일수록 내일 다른 플랫폼으로 옮기는 데는 더 많은 일이 필요할 수 있다. 투자가 커지기 전에 어떤 부분을 옮길 수 있고, 어떤 부분은 다시 작성해야 하며, 대안은 어떻게 시험할지 알아 두면 도움이 된다. 이는 선택권을 유지하기 위한 실무적인 문제이지, 유용한 기술을 배척할 이유는 아니다.

함께 읽을 수 있는 젠슨 황에 관한 글은 GPU가 그래픽에서 AI로 나아간 과정을 설명한다. 루헝은 인터넷 인프라의 권한에 관해 더 근본적인 질문을 던진다. 앞으로의 변화를 누가 결정할 수 있는가? 그는 노트 65에서 인터넷 조정을 위해 각자의 환경에서 검증할 수 있는 규칙과 자발적인 채택을 주장한다. 이는 NVIDIA를 설명하는 것이 아니라 별개의 제안이다. 독자에게 인프라를 살펴보는 또 하나의 관점을 제공한다. 무엇이 작동하는지 확인한 뒤, 누가 여전히 선택할 수 있는지 묻는 것이다.