Ngày nay, các dịch vụ dựa trên đám mây cung cấp khả năng truy cập vào các mô hình ngôn ngữ lớn (LLM) mạnh mẽ đã trở nên phổ biến. Tuy nhiên, như mọi thứ trên đám mây, chúng luôn tiềm ẩn hai vấn đề cố hữu: thu thập dữ liệu và sự ổn định trong truy cập. Cá nhân tôi luôn yêu thích việc thử nghiệm các mô hình ngôn ngữ lớn tự host (self-hosted LLMs), và công nghệ đã tiến bộ vượt bậc kể từ khi có thể chạy LLM tại nhà trên các card đồ họa tiêu dùng mà vẫn đảm bảo sức mạnh đáng kinh ngạc. Tất nhiên, những gì bạn có thể chạy sẽ phụ thuộc rất nhiều vào cấu hình máy tính, nhưng thực tế là có rất nhiều lựa chọn mạnh mẽ đang chờ bạn khám phá.
Hiện tại, tôi đang vận hành mô hình Gemma 27B IT QAT và Qwen 2.5 Coder 32B trên chiếc AMD Radeon RX 7900 XTX của mình, đồng thời thử nghiệm các mô hình nhỏ hơn cho các mục đích kiểm tra cục bộ, như Deepseek R1 0528 Qwen 3 8B. Quá trình này đã mang lại rất nhiều bài học quý giá, và trong suốt thời gian tìm hiểu, có không ít điều mà tôi ước mình đã biết trước khi bắt đầu, bởi vì chúng có thể đã giúp tôi tiết kiệm rất nhiều thời gian hoặc nâng cấp hệ thống nhanh hơn. Đây là những bài học quan trọng nhất mà tôi đã đúc rút được. Mặc dù một số lời khuyên hướng đến những người mới bắt đầu, nhưng cũng có những điều mà ngay cả các chuyên gia kỳ cựu trong lĩnh vực tự host LLM có thể chưa nắm rõ.
7. Kích Thước Mô Hình Và VRAM Không Phải Là Yếu Tố Duy Nhất Quyết Định Hiệu Năng
Băng Thông Bộ Nhớ Là Yếu Tố Quan Trọng
Máy tính Radxa Orion O6 đang chạy mô hình DeepSeek LLM với Ollama
Bài học đầu tiên mà tôi ước mình đã biết sớm hơn là kích thước mô hình không chỉ đơn thuần nói lên độ “thông minh” của một mô hình, mặc dù số lượng tham số của mô hình thường tỷ lệ thuận với khả năng của nó. Tuy nhiên, có một khía cạnh khác cần xem xét, đó là số lượng token được tạo ra mỗi giây. Băng thông bộ nhớ (memory bandwidth) đóng một vai trò lớn ở đây. Đó là lý do tại sao RTX 3090 vẫn là một trong những GPU cấp tiêu dùng tốt nhất cho suy luận cục bộ (local inference), bất chấp sự ra đời của RTX 4090 và thậm chí là 5090. Điều này nhờ vào băng thông bộ nhớ cao và chi phí thấp hơn so với các dòng RTX xx90 mới hơn. Mặc dù các card mới hơn có hiệu suất tốt hơn RTX 3090 ở nhiều khía cạnh, nhưng đối với tác vụ suy luận LLM nói riêng, sự nâng cấp không lớn như bạn mong đợi. Chẳng hạn, RTX 5090 có thể tăng tốc độ hiệu suất từ hai đến ba lần so với 3090 (đồng thời có 32GB VRAM), nhưng RTX 4090 so với 3090 chỉ mang lại một cải tiến nhỏ khi nói đến các mô hình ngôn ngữ lớn.
Có một phần khác của phương trình cần xem xét nữa, đó là cửa sổ ngữ cảnh (context window). Các mô hình ngôn ngữ tính toán “vị trí” của chúng bằng cách sử dụng RoPE (Rotary Positional Embeddings) được mã hóa trong các transformer, hoạt động như một thước đo toán học trải dài trên chuỗi. Việc tăng độ dài của thước đo này (cửa sổ ngữ cảnh) đồng nghĩa với nhiều phép nhân hơn trong mỗi lần truyền tiến (forward pass) và bộ đệm khóa-giá trị (key-value cache) lớn hơn. Ví dụ, việc tăng gấp đôi độ dài ngữ cảnh (từ 8K token lên 16K) có thể làm giảm một nửa hiệu suất. Có những phương pháp mở rộng RoPE để tăng thêm độ dài này (như NTK hoặc yaRN), nhưng việc mở rộng đó có thể làm mờ các chi tiết, dẫn đến suy giảm chất lượng phản hồi khi cuộc trò chuyện kéo dài.
Có những cách tốt hơn để cung cấp thêm thông tin mà không làm cạn kiệt cửa sổ ngữ cảnh của bạn. Mặc dù việc cố gắng tăng tối đa độ dài ngữ cảnh để mô hình LLM có khả năng ghi nhớ siêu việt là điều hấp dẫn, nhưng nó đi kèm với một cái giá. Hiệu suất sẽ nhanh chóng giảm sút theo thời gian, và nếu bạn tràn VRAM, bắt đầu phải sử dụng RAM hệ thống, tình hình sẽ còn tệ hơn nữa.
6. Lượng Tử Hóa (Quantization) Là Người Bạn Thân
Giảm Sử Dụng Bộ Nhớ Với Tác Động Không Đáng Kể Đến Hiệu Suất
Giao diện DeepSeek chạy trên Mac Studio M3 Ultra, hiển thị hiệu quả lượng tử hóa
Lượng tử hóa (Quantization) là một trong những điều quan trọng nhất cần tìm hiểu khi nói đến tự host LLM, vì nó quyết định rất nhiều yếu tố. Về cơ bản, nó nén các số dấu phẩy động 16-bit hoặc 32-bit liên tục tạo nên mạng thần kinh thành ít bit hơn, lưu trữ các giá trị gần đúng đủ tốt cho suy luận. Trên thực tế, lượng tử hóa số nguyên 8-bit (INT8) khá phổ biến ở thời điểm hiện tại và thường có thể chạy mà không cần huấn luyện lại. Để dễ hình dung hơn, hãy lấy phiên bản 671B tham số của mô hình DeepSeek R1, cụ thể là phiên bản lượng tử hóa 4-bit Q4_K_M. Có rất ít sự suy giảm chất lượng so với mô hình đầy đủ không lượng tử hóa, nhưng sự giảm đáng kể về dung lượng bộ nhớ lại là một vấn đề lớn. Dưới đây là cách đọc các ký hiệu này:
- Qx: Đề cập đến mức độ lượng tử hóa. Nó biểu thị lượng bộ nhớ được sử dụng để lưu trữ trọng số của mô hình.
- K: Đề cập đến họ k-quant (ban đầu là “k-means”/lượng tử hóa cải tiến) trong llama.cpp, sử dụng các khối được nhóm với dữ liệu tỷ lệ và tối thiểu bổ sung để có độ chính xác tốt hơn.
- M: Đề cập đến các tensor nào nhận các định dạng con có độ chính xác cao hơn, có thể là S, M hoặc L, nghĩa là nhỏ (small), trung bình (medium) hoặc lớn (large).
Vì vậy, phiên bản Q4_K của mô hình Deepseek R1 gốc (không phải 0528) có dung lượng khoảng 400GB. Vậy còn Q6_K và Q8_0 thì sao? Chúng có dung lượng lần lượt khoảng 550GB và 713GB, nhưng sự khác biệt về hiệu suất kỹ thuật giữa chúng lại rất nhỏ. Điều này có nghĩa là một mô hình mà về mặt lý thuyết sẽ yêu cầu 713GB RAM để chạy có thể chạy trên một máy có ít hơn 500GB, điều này thực sự rất quan trọng. Chuyển từ Q8 sang Q4 sẽ thấy việc sử dụng bộ nhớ giảm gần một nửa, như chúng ta có thể thấy ở trên, nhưng nhờ công nghệ nền tảng triển khai các mô hình ngôn ngữ cục bộ, hiệu suất vẫn gần như tốt. Về cơ bản, nó sử dụng một tensor dấu phẩy động nén cùng với siêu dữ liệu, có nghĩa là nó có thể tái tạo các giá trị trong thời gian chạy, dẫn đến các kết quả tương tự như một mô hình lớn hơn nhưng sử dụng ít bộ nhớ hơn rất nhiều.
Tuy nhiên, có những hạn chế đối với việc lượng tử hóa quá mức, chẳng hạn như lỗi tái tạo cao hơn. Điều này có nghĩa là các từ hiếm hoặc lý luận số tinh vi có thể thất bại khi mọi phép toán đều bị làm tròn. Mặc dù vậy, việc tiết kiệm VRAM và băng thông theo cấp số nhân thường lớn hơn việc thỉnh thoảng mất độ chính xác, đặc biệt đối với các trường hợp sử dụng “cơ bản” hơn. Và sự đánh đổi hiệu suất rất nhỏ sẽ giúp bạn có thể chạy LLM lớn hơn mà lẽ ra không thể. Hơn nữa, gần như chắc chắn rằng mô hình nhỏ hơn sẽ có hiệu suất kém hơn ở tất cả các hạng mục so với phiên bản lượng tử hóa của mô hình lớn hơn.
5. Đừng Quên Tính Đến Chi Phí Điện Năng
Chưa Kể Chi Phí Phần Cứng Ban Đầu
Nguồn máy tính (PSU) công suất cao bên trong một PC gaming
Mặc dù một mô hình ngôn ngữ lớn tự host có vẻ là một cách hiệu quả về chi phí để có được suy luận cục bộ tốt, nhưng nhiều người quên đi các hóa đơn tiền điện và các chi phí khác có thể phát sinh khi triển khai một LLM chạy cục bộ. RTX 4090 có TDP là 450W, và chi phí điện trung bình ở Hoa Kỳ là 0.16 đô la mỗi kWh. Điều đó có nghĩa là bạn có thể phải trả hóa đơn tiền điện hơn 50 đô la mỗi tháng nếu bạn chạy nó hết công suất. Rõ ràng, hầu hết mọi người sẽ không làm vậy, nhưng ngay cả việc sử dụng thường xuyên trong một ngày cũng có thể tăng lên nhanh chóng, và có thể tốn kém hơn so với việc sử dụng các API của Gemini hoặc OpenAI để truy cập vào các mô hình mạnh mẽ hơn đáng kể.
Điều này thậm chí còn trở nên tồi tệ hơn nếu bạn muốn sử dụng nhiều GPU cho suy luận, và đó là chưa kể đến việc phân phối điện năng mà bạn sẽ cần tính đến, hệ thống làm mát tùy chỉnh và bất kỳ phần cứng nào khác bạn sẽ cần mua thêm. Tôi đã thấy nhiều người nói rằng họ có thể tiết kiệm tiền bằng cách tự host mô hình LLM của riêng mình thay vì trả tiền cho ChatGPT Plus hoặc gói AI của Google One, và điều đó có lẽ đúng trên bề mặt. Nhưng nếu tính thêm chi phí GPU và các phần cứng khác, bạn có thể thấy mình chi tiêu nhiều hơn về lâu dài.
4. Bạn Không Cần Chỉ Tập Trung Vào Nvidia
Intel Và AMD Cũng Có Thể Là Lựa Chọn Tuyệt Vời
Card đồ họa Intel Arc A770 với ánh sáng neon xanh
Mặc dù đây là một sự phát triển tương đối gần đây, Nvidia không còn là người chơi duy nhất trong cuộc chơi tự host LLM nữa. Như tôi đã đề cập, tôi sử dụng AMD Radeon RX 7900 XTX cho các mô hình tự host của mình, và tôi cũng đã thử nghiệm Intel Arc A770 với 16GB VRAM. AMD hiện đã có hỗ trợ chính thức trong các công cụ như Ollama, và mặc dù cần một chút công sức hơn, bạn cũng có thể sử dụng GPU Intel thông qua phiên bản IPEX LLM của Ollama.
Mặc dù Nvidia chắc chắn vẫn là kẻ thống trị về tốc độ tạo token/giây thuần túy, nhưng thực tế là các GPU của Nvidia đang được săn đón đến mức bạn có thể không mua được một card Nvidia cao cấp cho hệ thống của mình. Một chiếc A770 sẽ mang lại hiệu suất khá tốt khi nói đến các mô hình ngôn ngữ, và tôi đã rất hài lòng với chiếc 7900 XTX của mình. Ngay cả với mô hình Gemma 27B mà tôi đang chạy, tôi vẫn đạt được tốc độ tạo token hơn 30 token mỗi giây. Hơn nữa, nó có 24GB VRAM, chỉ kém RTX 5090 và ngang bằng với RTX 4090 trong khi chi phí lại thấp hơn nhiều.
Nvidia chắc chắn được ưu tiên, nhưng nếu một card Nvidia nằm ngoài khả năng tài chính, hãy xem xét AMD và Intel. Hãy nghiên cứu hiệu suất của chúng đối với các loại mô hình bạn muốn chạy và xem liệu có card nào phù hợp với nhu cầu của bạn không. Bạn có thể sẽ ngạc nhiên.
3. Kỹ Thuật Prompt Và Sử Dụng Công Cụ Là Cách Tuyệt Vời Để Tận Dụng Tối Đa Mô Hình Nhỏ
Đừng Chỉ Cố Gắng “Brute-Force” Bằng Cách Tăng Tham Số
Nếu bạn đang chạy mô hình LLM nhỏ và muốn có hiệu suất tốt hơn, đừng chỉ vội vàng chuyển đổi mô hình với hy vọng rằng vài tỷ tham số bổ sung sẽ giải quyết mọi vấn đề của bạn. Thay vào đó, đây là một vài lời khuyên, và lời khuyên đầu tiên là hãy suy nghĩ lại về các prompt của bạn. Một prompt ngắn gọn, trực tiếp và toàn diện sẽ mang lại kết quả tốt hơn một prompt mơ hồ, mở rộng. Chỉ vì bạn đã quen với Gemini, ChatGPT hay Claude – những mô hình có thể hoạt động tốt với các prompt mơ hồ – không có nghĩa là bạn có thể tiếp cận một mô hình nhỏ hơn đáng kể đang chạy trên máy tính hoặc máy chủ gia đình của mình theo cùng một cách. Nếu bạn trực tiếp và đi thẳng vào vấn đề, các mô hình của bạn có thể sẽ hoạt động tốt hơn đáng kể, vì vậy hãy suy nghĩ lại các prompt của bạn nếu câu trả lời bạn nhận được không đủ tốt.
Lời khuyên tiếp theo là sử dụng Retrieval Augmented Generation, hay còn gọi là RAG. Điều này cung cấp cho mô hình của bạn một tập dữ liệu mà nó có thể dựa vào để đưa ra câu trả lời, dẫn đến độ chính xác cao hơn trong phản hồi mà không cần phải tải toàn bộ độ dài ngữ cảnh của mô hình với mọi thông tin có thể liên quan. Vì nó lấy dữ liệu từ dữ liệu thực tế tồn tại trên thiết bị, nó cũng giảm xu hướng “ảo giác” (hallucinations), vốn có thể là một vấn đề trên các mô hình nhỏ hơn. Rõ ràng nó sẽ không giải quyết mọi vấn đề (cũng như không mang lại cho mô hình 7B tham số tất cả các khả năng của mô hình 70B tham số), nhưng nó có thể cải thiện đáng kể hiệu suất nếu mục tiêu chính của bạn khi sử dụng LLM là truy vấn dữ liệu. Chat with RTX của Nvidia là một ví dụ tuyệt vời về cách RAG có thể tăng tốc suy luận cục bộ.
Lời khuyên cuối cùng là sử dụng các công cụ (tools). Công cụ trong ngữ cảnh của LLM là các tiện ích phần mềm được thiết kế để mô hình vận hành và có thể được gọi khi cần thiết. Ví dụ, JSON Toolkit cung cấp cho LLM khả năng khám phá lặp lại một phản hồi JSON mà không lãng phí ngữ cảnh quý giá với dữ liệu vô ích cho truy vấn thực tế được đưa ra. Điều tương tự cũng xảy ra với công cụ Pandas Dataframe, thay vì tải toàn bộ dataframe vào ngữ cảnh, LLM có thể sử dụng công cụ Pandas Dataframe để chạy mã Python sẽ tìm ra câu trả lời, bỏ qua nhu cầu xem xét toàn bộ. Có rất nhiều loại công cụ khác nhau mà bạn có thể sử dụng, và trong nhiều trường hợp, có thể không cần thiết phải “brute-force” “trí thông minh” bằng cách chỉ sử dụng một mô hình lớn hơn.
2. Mô Hình Mixture-of-Experts Cho Phép Chạy Mô Hình Lớn Hơn Với VRAM Hạn Chế
Mặc Dù Cần Một Chút Công Sức Ban Đầu
Mô hình Mistral LLM tạo phản hồi trên máy tính Raspberry Pi 5
Các mô hình ngôn ngữ Mixture-of-Experts (MoE) tương đối mới, nhưng khái niệm trong AI đã tồn tại hàng thập kỷ và đã được sử dụng trong các ngữ cảnh học sâu cho nghiên cứu và tính toán. Các mô hình này về cơ bản chia mạng thành các “chuyên gia” (experts) với một cổng nhẹ quyết định chuyên gia nào xử lý tác vụ nào. Điều này không có nghĩa là dung lượng bộ nhớ của nó ít hơn một mô hình khác có cùng lượng tử hóa và số lượng tham số. Tuy nhiên, điều đó có nghĩa là bạn có thể tùy chỉnh việc tải mô hình để các tensor ít được truy cập hơn được chuyển sang RAM hệ thống, để lại không gian trong VRAM của GPU cho các tensor mà chúng ta muốn truy cập thường xuyên.
Đây là một chủ đề phức tạp hơn đáng kể và không thực sự là một mẹo mà những người mới nên cố gắng làm theo ngay lập tức. Tuy nhiên, điều quan trọng là phải biết rằng nếu bạn thấy mình bị giới hạn bởi VRAM, có những giải pháp có thể giảm thiểu tác động đến hiệu suất khi nói đến các mô hình MoE. Có rất nhiều mô hình MoE khác nhau ngoài kia, và một khi bạn đã thoải mái với công cụ lựa chọn của mình, bạn có thể bắt đầu khám phá tùy chọn này nhiều hơn để chạy các mô hình LLM lớn hơn trên máy của mình theo cách tận dụng tối đa VRAM và chuyển các phần ít được truy cập nhất của mô hình sang RAM hệ thống.
1. Bắt Đầu Đơn Giản
LM Studio Là Nơi Tuyệt Vời Để Bắt Đầu
Thay vì cố gắng thiết lập tất cả các công cụ như Ollama và Open Web UI ngay từ đầu, điều này có thể khá khó khăn đối với một người mới tự host LLM, hãy sử dụng một giao diện đồ họa như LM Studio để bắt đầu. Nó siêu đơn giản: sử dụng tính năng tìm kiếm tích hợp để tìm mô hình, tải xuống và chạy nó. Bạn không cần thực hiện bất kỳ cấu hình nào, và nó giống như một giải pháp “cắm và chạy” đối với LLM. Nó đi kèm với tất cả các thư viện bạn cần để tận dụng tối đa phần cứng của mình và hoạt động trên Windows, Linux và macOS, giúp bạn loại bỏ mọi khó khăn khi phải tìm hiểu chính xác những gì bạn cần để chạy LLM trên máy tính của mình.
Tuyệt vời hơn nữa, đối với các nhà phát triển, LM Studio có thể host một máy chủ tương thích OpenAI ở chế độ nền, vì vậy bạn có thể sử dụng nó để kiểm tra các ứng dụng hoặc công cụ của riêng mình mà hiểu API OpenAI sau khi bạn trỏ chúng đến endpoint cục bộ. Nó dễ dàng, miễn phí và là một cách tuyệt vời để bắt đầu và có được cảm giác về việc tự host LLM của riêng mình trước khi triển khai một mô hình ở nơi khác. Tất cả các cài đặt chính mà bạn có thể muốn sửa đổi, từ system prompt đến độ dài ngữ cảnh, đều có thể sửa đổi được, vì vậy đây là một cách tuyệt vời để bắt đầu.
Kết Luận
Việc tự host mô hình ngôn ngữ lớn (LLM) tại nhà đã trở nên dễ tiếp cận và mạnh mẽ hơn bao giờ hết, mang lại lợi ích về quyền riêng tư dữ liệu và kiểm soát ổn định. Tuy nhiên, để thực sự tối ưu hóa trải nghiệm này, việc nắm vững những yếu tố vượt ra ngoài kích thước mô hình và VRAM là điều cần thiết. Từ việc hiểu rõ vai trò của băng thông bộ nhớ và kỹ thuật lượng tử hóa để giảm tải VRAM, đến việc xem xét chi phí điện năng và không bỏ qua các lựa chọn GPU từ AMD hay Intel – mỗi bài học đều góp phần vào một hệ thống LLM tự host hiệu quả và bền vững. Hơn nữa, việc cải thiện kỹ thuật prompt, áp dụng RAG hay khai thác các công cụ thông minh có thể giúp các mô hình nhỏ phát huy tối đa tiềm năng, trong khi việc khám phá các kiến trúc như MoE mở ra cánh cửa cho việc chạy các mô hình phức tạp hơn.
Cuối cùng, dù có đam mê đến đâu, lời khuyên tốt nhất vẫn là bắt đầu một cách đơn giản với các công cụ thân thiện với người dùng như LM Studio để làm quen trước. Khi đã thành thạo, bạn hoàn toàn có thể từng bước nâng cấp và tùy chỉnh hệ thống của mình để khai thác toàn bộ sức mạnh của trí tuệ nhân tạo ngay tại tổ ấm. Hy vọng những bài học này sẽ giúp bạn có một hành trình tự host LLM suôn sẻ và thành công. Đừng ngần ngại chia sẻ những kinh nghiệm và khám phá của bạn trong phần bình luận bên dưới!
