4 tỷ USD tín dụng cho ASIC inference: Tín hiệu hay bong bóng?

Hook: 4 tỷ USD tín dụng, nhưng không phải để mua GPU. General Compute vừa ký một khoản vay thế chấp bằng chính con chip SambaNova SN40L – một ASIC inference kiến trúc Dataflow. Trong khi cả thị trường đang hô hào về "kỷ nguyên mới" cho inference, tôi nhìn vào con số và thấy một câu chuyện khác: 4 tỷ USD chỉ đủ mua chưa tới 700 máy chủ, so với doanh thu 22,6 tỷ USD mỗi quý của Nvidia, đó là giọt nước trong đại dương. Vậy tại sao giới truyền thông lại gọi đây là "bước ngoặt"? Vì họ nhìn vào narrative, còn tôi nhìn vào cấu trúc. Context: SambaNova là một trong số ít công ty theo đuổi kiến trúc Reconfigurable Dataflow Architecture (RDA). Khác với GPU của Nvidia – nơi mọi tính toán đều phải qua các đơn vị xử lý đa năng và lệnh điều khiển phức tạp – RDA ánh xạ trực tiếp đồ thị tính toán của mô hình lên các Processing Unit (PCU) chuyên biệt trong chip. Điều này giúp giảm overhead di chuyển dữ liệu và lệnh, đạt hiệu suất năng lượng cao hơn (theo SambaNova, gấp 2-5 lần so với A100 trong một số workload inference). General Compute, bên đi vay, không phải là một công ty bán dẫn. Họ là một "cloud factory" – mua hardware, cho thuê sức mạnh tính toán. Khoản vay 4 tỷ USD là một công cụ tài chính, không phải một cột mốc công nghệ. Họ lấy chip làm tài sản thế chấp, giống như CoreWeave từng làm với GPU H100 của Nvidia. Nhưng lần này, tài sản đã thay đổi: từ một sản phẩm có tính thanh khoản cao và thị trường second-hand sôi động (GPU Nvidia) sang một ASIC kén khách, khó bán lại. Core: Hãy đi vào kỹ thuật. Con chip SN40L của SambaNova có khoảng 200 TOPS FP16 inference, trong khi một H100 đạt 2000 TOPS cho cùng độ chính xác. Nhưng con số TOPS không phải là tất cả. Quan trọng hơn là hiệu suất năng lượng (TOPS/Watt) và độ trễ thực tế khi chạy các mô hình Transformer hiện đại. SambaNova tuyên bố khi chạy Llama 2 70B, mỗi token chỉ tiêu tốn 1/3 năng lượng so với H100. Tôi đã từng kiểm toán hợp đồng ICO năm 2017, và tôi học được một bài học: tuyên bố của đội ngũ kỹ thuật luôn sai lệch so với thực tế triển khai. Cùng một mô hình, nhưng nếu bạn không optimize đúng cách, SambaNova có thể bị tụt lại phía sau. Hệ sinh thái phần mềm của họ – compiler SambaFlow – chỉ mới hỗ trợ PyTorch và JAX cơ bản. Trong khi TensorRT-LLM của Nvidia đã được tối ưu cho hàng trăm mô hình, kể cả Llama 3 400B, Mixtral 8x22B. Đây là một khoảng cách khổng lồ. Tôi cũng từng mất hai tháng rưỡi để phân tích x*y=k của Uniswap V2, phát hiện một bất hiệu quả phí 0.3%, nhưng không ai áp dụng vì nó đụng đến thay đổi giao thức cốt lõi. Ở đây cũng vậy: kiến trúc RDA đẹp trên lý thuyết, nhưng để nó thay thế GPU trong inference, cần cả một cuộc cách mạng về toolchain và community adoption – thứ mà Nvidia xây dựng suốt 15 năm. 4 tỷ USD tín dụng có thể mua phần cứng, nhưng không mua được thói quen của developer. Contrarian: Đây mới là điều phản trực giác: giao dịch này thực ra là một tín hiệu yếu cho "phi tập trung hóa" inference chip, nhưng lại là một tín hiệu mạnh cho rủi ro tài chính trong ngành. Lý do: thị trường second-hand của ASIC gần như không tồn tại. Nếu General Compute không đạt được tỷ lệ thuê (utiliztion) như kỳ vọng – ví dụ, chỉ 50% số chip được sử dụng – họ sẽ vỡ nợ. Khi đó, ngân hàng phải thanh lý tài sản thế chấp. Mà ai sẽ mua lại hàng trăm con chip SambaNova đã qua sử dụng? Chỉ có SambaNova hoặc một đối thủ cạnh tranh trực tiếp, và họ sẽ mua với giá rẻ. Điều này tạo ra một vòng lặp: nếu khoản vay đầu tiên thành công, nhiều khoản vay tương tự sẽ xuất hiện, đẩy giá ASIC lên cao tạm thời. Nhưng khi nhu cầu thực tế không đủ, thị trường sẽ điều chỉnh mạnh. Tôi nhìn thấy một sự tương đồng với cơn sốt ICO năm 2017 – mọi người tin vào narrative hơn là dữ liệu. Lúc đó tôi audit một hợp đồng EduChain, phát hiện lỗi reentrancy, họ nói “chúng tôi sẽ fix” nhưng không ai quan tâm đến bảo mật. Bây giờ, tôi thấy các nhà đầu tư đang bỏ qua rủi ro công nghệ của inference ASIC. Họ nghĩ rằng “đa dạng hóa” là tốt, nhưng thực tế, đa dạng hóa trên một nền tảng công nghệ chưa hoàn thiện chỉ tạo ra rủi ro hệ thống. Takeaway: Trong 12 tháng tới, hãy chú ý đến tỷ lệ utiliztion của General Compute và các giao dịch tương tự. Nếu Groq, Cerebras cũng ký được các khoản vay thế chấp ASIC với quy mô ≥2 tỷ USD, thì đó mới là dấu hiệu của một xu hướng thực sự. Còn nếu chỉ có một mình SambaNova, thì 4 tỷ USD này chỉ là một phép thử tài chính – và nó có thể thất bại. Tôi vẫn nghĩ câu hỏi lớn hơn là: ai sẽ là người mua lại những con chip này khi chúng trở nên lỗi thời sau 3 năm? Nvidia đã xây dựng cả một hệ sinh thái để giữ giá trị cho GPU của họ. Còn SambaNova, họ chỉ có một mình. Logic của tôi không phải là “inference chip không có tương lai”, mà là “định giá bằng cách vay nợ đang quá lạc quan”. Và trong một thị trường giảm, sự sống còn phụ thuộc vào việc bạn có thể trả lãi hay không.