Máy PS4 đã bẻ khóa chạy được mô hình AI 9 tỷ tham số

Máy PS4 đã bẻ khóa chạy được mô hình AI 9 tỷ tham số

-

Lập trình viên Leonardo Alegría vừa giới thiệu dự án mã nguồn mở Garlic LLM, cho phép máy chơi game PlayStation 4 đã bẻ khóa vận hành ngoại tuyến mô hình trí tuệ nhân tạo Qwen3.5-9B với quy mô 9 tỷ tham số mà không cần kết nối internet hay máy tính hỗ trợ. Hoạt động trên nền tảng GoldHEN dành cho các máy PS4 tiêu chuẩn hoặc bản Slim chạy firmware 11.52, ứng dụng này tương tác trực tiếp với bộ xử lý đồ họa ra mắt từ năm 2013 và đạt tốc độ phản hồi từ 31 đến 39 token mỗi giây khi trò chuyện văn bản.

Tên gọi của dự án bắt nguồn từ vùng bộ nhớ Garlic mà GPU trên PS4 có thể truy xuất trực tiếp, tách biệt với vùng nhớ Onion dành cho CPU. Khác với giải pháp chạy AI trên PS5 vốn dựa vào trình điều khiển Vulkan và công cụ llama.cpp, hệ máy PS4 không có sẵn lớp driver tương tự cho phần mềm tự chế. Vì vậy, tác giả đã sử dụng bộ công cụ OpenOrbis để biên dịch các nhân tính toán OpenCL C dành riêng cho kiến trúc AMD Graphics Core Next, đồng thời để ứng dụng tự khởi tạo trực tiếp các gói lệnh cấp thấp PM4 gửi thẳng tới phần cứng đồ họa.

gamen.pro ps4 171120261

Để đưa mô hình 9 tỷ tham số vào dung lượng bộ nhớ dùng chung vỏn vẹn 8GB của PS4, dự án kết hợp kỹ thuật lượng tử hóa trọng số 4-bit và 3-bit nhằm nén mô hình chính xuống khoảng 4,5GiB với ngữ cảnh tối đa 16.000 token. Gói cài đặt hoàn chỉnh nặng 5,66GB trên Hugging Face còn tích hợp sẵn mô hình nhận diện giọng nói Nvidia Parakeet TDT 0.6B v3 hỗ trợ 25 ngôn ngữ châu Âu cùng mô hình tổng hợp tiếng nói Chatterbox hỗ trợ 7 ngôn ngữ, cho phép người dùng đàm thoại trực tiếp qua tay cầm ở tốc độ khoảng 22 token mỗi giây.

Hiệu năng xử lý trên phần cứng hơn một thập kỷ tuổi đạt được nhờ cơ chế dự đoán đa token (MTP) của Qwen3.5, cho phép hệ thống phác thảo trước tối đa hai token trước khi mô hình chính xác thực lại. Nhờ đó, tốc độ sinh mã lập trình có thể chạm ngưỡng 43 token mỗi giây, tương đương việc hoàn thành một câu trả lời dài 300 token trong chưa đầy chín giây. Hiện tại, Garlic LLM chưa được thử nghiệm trên phiên bản PS4 Pro và không tương thích với PS5 do được viết chuyên biệt cho kiến trúc GPU cùng phần mềm hệ thống của PS4.

> Ý kiến đóng góp xin gửi về: toasoan@gamen.vn > Press Inquiries: info@gamen.vn

GameN - MXH dành cho game thủ Việt

Ban quản trị

ĐỌC NHIỀU