SK hynix và SanDisk đã cùng công bố HBF (High Bandwidth Flash) – một chuẩn bộ nhớ flash mới nhắm mục tiêu vào các máy chủ AI inference với tốc độ truyền dữ liệu cực cao.

Chip NAND thông thường có trong các ổ SSD đã không ngừng phát triển về tốc độ và dung lượng theo thời gian, với các đơn vị cấp máy chủ đương đại có khả năng đạt 28 GB/s mỗi đơn vị. Bằng cách nào đó, điều đó vẫn chưa đủ cho thế giới AI. Đổi lại, SK hynix và SanDisk đã cùng công bố HBF (High Bandwidth Flash) cho các máy chủ inference của ngày mai.

Lớp trung gian giữa HBM và SSD flash

Thông cáo báo chí chính thức rất ít chi tiết, nhưng đề cập rằng HBF được thiết kế đặc biệt để hoạt động như một lớp giữa HBM DRAM và SSD flash. Với một stack HBM3E thế hệ hiện tại có khả năng khoảng 1,2 TB/s, có thể giả định rằng các chip HBF có thể hướng tới tốc độ ít nhất 10 GB/s mỗi chip, nếu không muốn nói là nhiều hơn, cho tốc độ kết hợp hàng trăm GB/s.

Rốt cuộc, việc tạo ra một tiêu chuẩn hoàn toàn mới sẽ không có ý nghĩa gì nếu không đạt được tốc độ vượt trội như vậy.

Hiệu suất năng lượng là mối quan tâm

Hiệu suất năng lượng rõ ràng là mối quan tâm đối với những người đề xuất tiêu chuẩn, một khái niệm khá dễ hiểu trong thời đại này, nơi các trung tâm dữ liệu có nhu cầu công suất khổng lồ.

Một ổ SSD Micron 9650 cao cấp kéo 25W ở công suất tối đa, một con số trở nên thực sự xấu xí thực sự nhanh khi bạn nghĩ về triển khai quy mô exabyte với hàng chục nghìn ổ đĩa.

Cách HBF tương tác với hệ thống

Không có chi tiết cụ thể về cách HBF mới này có nghĩa là tương tác với hệ thống, nhưng cách diễn đạt mơ hồ “lớp hỗ trợ” có thể có nghĩa là nó sẽ tương tự như bộ nhớ cache trên SSD, nhưng lớn hơn nhiều.

Nó cũng có thể là một thiết bị lưu trữ khối thực sự nhanh giống Optane mà các ứng dụng và/hoặc hệ điều hành sẽ phải được điều chỉnh để sử dụng hiệu quả.

Dự kiến ra mắt khoảng năm 2030

Thông báo không đưa ra ngày mục tiêu, nhưng đề cập rằng “nhu cầu về các giải pháp bộ nhớ phức tạp, bao gồm HBF, sẽ tăng lên vào khoảng năm 2030”, vì vậy đó là ước tính tốt cho ngày phát hành sản xuất.

Tiêu chuẩn sẽ nằm dưới sự giám sát của Open Compute Project. Các công ty đang nhắm mục tiêu HBF vào các máy chủ inference, với lý do rằng các đầu ra mà bot người dùng tạo ra cần được lưu trữ ở đâu đó, và nhu cầu lưu trữ đó được dự đoán sẽ tăng theo cấp số nhân.

Vấn đề tốc độ trong AI

Tốc độ truyền dữ liệu đang trở thành một trong những nút thắt cổ chai lớn nhất trong hạ tầng AI hiện đại. Trong khi HBM (High Bandwidth Memory) cung cấp tốc độ cực cao nhưng dung lượng hạn chế và đắt đỏ, các SSD flash truyền thống cung cấp dung lượng lớn với chi phí thấp hơn nhưng tốc độ không đủ nhanh.

HBF được thiết kế để lấp đầy khoảng trống này – cung cấp tốc độ cao hơn nhiều so với SSD flash truyền thống nhưng không đắt đỏ như HBM, đồng thời có dung lượng lớn hơn HBM.

Tầm quan trọng với AI inference

AI inference – quá trình sử dụng mô hình AI đã được huấn luyện để tạo ra dự đoán hoặc kết quả – đang trở thành một phần ngày càng lớn của khối lượng công việc trung tâm dữ liệu. Không giống như training đòi hỏi tính toán khổng lồ, inference đòi hỏi truy cập dữ liệu nhanh chóng và hiệu quả.

Khi các mô hình AI ngày càng lớn và phức tạp hơn, và số lượng yêu cầu inference tăng lên theo cấp số nhân, nhu cầu về giải pháp lưu trữ nhanh hơn và hiệu quả hơn trở nên cấp thiết.

Sự hợp tác giữa hai gã khổng lồ bộ nhớ

Việc SK hynix và SanDisk – hai trong số những nhà sản xuất bộ nhớ lớn nhất thế giới – hợp tác để phát triển tiêu chuẩn mới này cho thấy tầm quan trọng chiến lược của nó. Cả hai công ty đều có chuyên môn sâu trong công nghệ bộ nhớ flash, với SK hynix nổi tiếng với HBM và SanDisk (thuộc Western Digital) là người tiên phong trong công nghệ NAND.

Sự hợp tác này cũng có thể giúp đảm bảo rằng HBF trở thành một tiêu chuẩn ngành rộng rãi hơn là một giải pháp độc quyền từ một nhà cung cấp duy nhất.

Thách thức phía trước

Mặc dù HBF hứa hẹn giải quyết một nút thắt quan trọng trong cơ sở hạ tầng AI, vẫn còn nhiều câu hỏi chưa được giải đáp. Chi phí sản xuất, khả năng tương thích với hệ thống hiện có và hiệu suất thực tế so với lý thuyết đều là những yếu tố sẽ quyết định sự thành công của tiêu chuẩn.

Với mốc thời gian dự kiến vào năm 2030, các công ty có nhiều thời gian để tinh chỉnh công nghệ và làm việc với các đối tác hệ sinh thái để đảm bảo sự áp dụng rộng rãi.