專家建言AI時代“水電煤”高效流通

“Token質量參差不齊，一些服務商的模型很‘笨’。”清華大學教授近日在一場活動上說，部分服務商的慢響應比例接近20%，這意味著其提供的五分之一的服務都有問題。

Token，中文名“詞元”，通俗來說為人工智能(AI)識別文字的碎片。國家數據局發布數據顯示，今年3月，中國日均Token調用量已突破140萬億，較2024年初的1000億增長超千倍。

有觀察認為，全球AI產業已進入規模化落地的關鍵階段，Token成為AI時代的“水電煤”，是大模型服務與智能應用的核心生產要素。

近日在北京舉行的“中科創星硬科技媒體行——清程極智專場活動”上，清華大學教授表示，伴隨Agent智能體、多模態應用快速普及，Token正從交互用量轉向生產用量，直接推動產業對推理效率、部署成本、服務穩定性的要求持續攀升。

Token需求爆發，國產算力與國產模型迎來高速發展，但二者之間的推理環節卻長期依賴海外引擎。同時，Token服務市場面臨的亂、貴、慢、選型難等突出問題，也成為制約AI技術普惠化、規模化落地的瓶頸。

作為清程極智首席科學家，清華大學教授介紹說，團隊針對大模型部署成本高、國產算力適配不足的痛點推出赤兔推理引擎。同時，面對Token服務市場服務商林立、指標混亂、選型成本高的行業亂象，打造AI Ping一站式大模型服務評測與API智能路由平臺。

據悉，該平臺已接入600余個大模型服務，覆蓋文本、圖片、視頻等全場景，通過7*24小時多地域分布式監測，實時輸出延遲、吞吐、可靠性、價格等核心指標，數據真實可核驗。

“中國擁有世界上繁榮的開源模型生態，AI算力持續增長。通過Token調用使用AI大模型的用戶也日益增多。”清華大學教授表示，他們將持續深耕AI基礎設施領域，堅持核心技術自主可控，不斷迭代赤兔推理引擎對國產芯片的適配能力，完善AI Ping評測與路由服務。

國電中星作為一家專業的電力檢測設備廠家，密切關注國家核電以及電力相關行業的發展與動態，了解更多訪問國電中星官網：www.nc-hongmen.cn。