NVIDIA Vera Rubin NVL72 được ước tính trang bị tổng cộng khoảng 74,7 TB bộ nhớ HBM4 và LPDDR5X trong mỗi rack, khiến chi phí dành riêng cho DRAM chiếm tới 62% giá trị một Superchip. So với thế hệ Grace Blackwell, chi phí bộ nhớ được cho là tăng khoảng 2,5 lần.

Các con số xuất phát từ phân tích Bill of Materials của UBS, vì vậy không nên xem là bảng giá chính thức từ NVIDIA. Báo cáo bóc tách chi phí dự kiến của từng thành phần trong hệ thống Vera Rubin NVL72, tên mã Oberon, nhằm cho thấy bộ nhớ đang trở thành một trong những khoản chi lớn nhất của máy chủ AI thế hệ mới.

Một rack Vera Rubin NVL72 gồm 72 GPU Rubin và 36 CPU Vera. Mỗi tray chứa bốn GPU cùng hai CPU, tương ứng với hai cụm Superchip, trong khi toàn bộ rack sử dụng 36 Superchip.

Mỗi GPU Rubin được trang bị 288 GB HBM4 với băng thông tối đa khoảng 22 TB/s. Nhân với 72 GPU, riêng phần HBM4 trong một rack đã đạt khoảng 20,7 TB.

CPU Vera lại sử dụng lượng bộ nhớ lớn hơn nhiều. Mỗi CPU có thể kết nối với tối đa 1,5 TB LPDDR5X thông qua module SOCAMM2, tương ứng tổng cộng 54 TB trên 36 CPU.

Như vậy, tổng dung lượng HBM4 và LPDDR5X của một rack đạt khoảng 74,7 TB. Nếu lấy smartphone có 16 GB RAM làm mốc tham chiếu, con số này tương đương lượng DRAM của khoảng 4.500-4.600 điện thoại.

62% chi phí Superchip nằm ở bộ nhớ

Theo UBS, một Vera Rubin Superchip có chi phí linh kiện ước tính khoảng 38.902 USD. Trong đó, riêng HBM4 và SOCAMM2 LPDDR5X đã chiếm khoảng 24.297 USD.

Điều đó đồng nghĩa bộ nhớ chiếm khoảng 62% tổng chi phí linh kiện của một Superchip. Ở thế hệ Grace Blackwell, tỷ trọng tương ứng được ước tính vào khoảng 53%.

Phần Rubin GPU có tổng chi phí khoảng 9.247 USD, bao gồm GPU, HBM4, interposer, đóng gói và những linh kiện liên quan. Riêng bộ nhớ HBM4 được định giá khoảng 4.943 USD, tức hơn một nửa chi phí của cụm GPU.

Tình hình còn cực đoan hơn ở Vera CPU. UBS ước tính toàn bộ phần CPU cùng SOCAMM2 có giá khoảng 20.059 USD, trong đó riêng bộ nhớ LPDDR5X đã chiếm tới 19.355 USD.

Nếu loại bỏ bộ nhớ và một số thành phần trên bo mạch, phần silicon Vera CPU được ước tính chỉ còn khoảng 704 USD. Nói cách khác, phần lớn giá thành của cụm CPU không nằm ở chính bộ xử lý mà ở lượng LPDDR5X khổng lồ đi kèm.

Vera Rubin tốn gấp 2,1 lần nhưng bộ nhớ tăng 2,5 lần

So với Grace Blackwell, chi phí tổng thể của Vera Rubin được UBS ước tính tăng khoảng 2,1 lần. Tuy nhiên, chi phí riêng cho bộ nhớ tăng mạnh hơn, khoảng 2,5 lần.

Grace CPU trên hệ thống Blackwell sử dụng khoảng 480 GB bộ nhớ, trong khi GPU Blackwell có 192 GB HBM3E trên GB200 và tối đa 288 GB trên GB300. Với Vera Rubin, riêng một CPU đã có thể tiếp cận 1,5 TB LPDDR5X.

Đây là một trong những nguyên nhân khiến tỷ trọng bộ nhớ trong tổng chi phí tiếp tục tăng. Những hệ thống AI hiện đại không chỉ cần GPU mạnh hơn mà còn phải giữ mô hình, KV cache và dữ liệu làm việc trong bộ nhớ có dung lượng ngày càng lớn.

HBM4 đặc biệt đắt do yêu cầu nhiều lớp DRAM xếp chồng, đóng gói tiên tiến và giao tiếp băng thông cực cao. SOCAMM2 lại cho phép NVIDIA đưa lượng LPDDR5X rất lớn vào gần CPU mà vẫn giữ mật độ cao hơn so với các module DIMM truyền thống.

AI tiếp tục hút lượng DRAM khổng lồ

Một rack sử dụng gần 75 TB DRAM đã là con số đáng kể, nhưng quy mô thực sự xuất hiện khi những hệ thống này được triển khai theo hàng nghìn rack trong trung tâm dữ liệu.

Nếu 1.000 rack Vera Rubin được đưa vào hoạt động, riêng lượng HBM4 và LPDDR5X cần thiết đã tiến gần 75 PB. Chưa kể các hệ thống còn cần SSD, bộ nhớ mạng, switch, CPU quản lý và nhiều lớp hạ tầng khác.

NVIDIA cũng không phải doanh nghiệp duy nhất đẩy nhu cầu lên cao. AMD đang chuẩn bị nền tảng Helios với các GPU thế hệ mới có thể sở hữu tới 432 GB HBM4 mỗi chip, cùng lượng bộ nhớ hệ thống lớn.

Các nhà cung cấp chip AI tự thiết kế như Google, Amazon, Microsoft và nhiều doanh nghiệp khác cũng đang tăng dung lượng bộ nhớ trên accelerator. Điều này khiến HBM và DRAM trở thành một trong những mắt xích quan trọng nhất của cuộc chạy đua hạ tầng AI.

Tuy nhiên, việc quy toàn bộ tình trạng thiếu DRAM cho riêng Vera Rubin sẽ là quá đơn giản. Thị trường bộ nhớ còn chịu tác động từ năng lực sản xuất wafer, quá trình chuyển đổi dây chuyền sang HBM, hợp đồng dài hạn với khách hàng trung tâm dữ liệu và nhu cầu từ nhiều ngành khác.

Con số của UBS chủ yếu cho thấy một xu hướng rõ ràng: giá trị của bộ nhớ đang tăng nhanh hơn chính bộ xử lý trong các hệ thống AI cao cấp. Khi mô hình ngày càng lớn, dung lượng và băng thông trở thành yếu tố khó tiết giảm.

Với khoảng 74,7 TB DRAM trên mỗi rack và bộ nhớ chiếm 62% chi phí Superchip theo ước tính của UBS, NVIDIA Vera Rubin cho thấy cuộc đua AI đang dần trở thành cuộc đua về cả năng lực tính toán lẫn khả năng cung ứng HBM và LPDDR5X.