企業要如何導入 AI ?
想導入又找不到人怎麼辦?
我知道 AI 要花錢但該如何花才對?
—— 了解 Nvidia AI 服務如何解決企業 AI 應用導入的痛點，找對方案就不是問題！
OpenAI 在 2022 年 11 月 30 日推出 ChatGPT，這個 AI 聊天機器人的發布被認為是加速 AI 熱潮的重要里程碑，自推出以來便在全球範圍內引起了廣泛的關注和使用。從此便打開了企業 AI 應用的潘朵拉盒子，企業已從初期的試驗性部署轉向更廣泛、更深入的 AI 整合，並開始在核心業務流程中實現實際的營運效益。
然而根據 GARTNER 統計(Ref: https://www.gartner.com/en/articles/hype-cycle-for-artificial-intelligence )，儘管企業在 2024 年平均花費 190 萬美元在生成式 AI 計畫上，但不到 30% 的 AI 領導者報告其 CEO 對 AI 投資回報感到滿意。
2025 年是一個關鍵年份，我們甚至可以稱之為「代理式 AI 年元年」，我們見證了生成式 AI 代理用於解決問題的興起，因 LLM 成本的降低以及性能和速度的提升而成為可能。2025 年的焦點已從大型語言模型（LLM）轉向自主的人工智慧代理應用，引領工作的未來 。
AI 應用技術革新
從生成式 AI 到代理式 AI 的演進代表著從工具輔助到自主協作的根本性轉變。這個轉型過程中，技術基礎（多模態能力、推理能力）已經成熟，但組織準備度、安全治理和商業價值證明仍是主要挑戰。2025 年被視為關鍵的轉折年，但真正的大規模採用可能需要到 2027-2028 年才會實現，且預期會有相當比例的早期專案因各種挑戰而終止。
然而同時我們也發現一個現象：雖然很多企業對 AI 導入深感興趣，卻又沒有明確的概念與想法，往往交辦下去的承辦人員也一頭霧水。
簡單來說，要在企業導入 AI，需要滿足如下三個條件：
企業 AI 導入關鍵要素
1. 首先是算力
通俗的說法就是 GPU 資源，以滿足當前 AI 應用對運算資源的龐大需求。企業必須建立足夠強大的硬體基礎設施，包括高效能的 GPU 或專用 AI 晶片、充足的運算資源和記憶體，以及可隨業務成長而擴展的硬體架構。沒有這些運算基礎，再先進的AI演算法也無法有效運作。
2. 其次是完整的訓練和推理工具鏈
企業需要具備機器學習模型的訓練平台、資料處理和前處理工具、模型部署和推理框架，以及完善的開發測試環境。這些工具讓企業能夠將原始資料轉化為可用的AI模型，並將模型有效地部署到實際業務環境中。
3. 最後也是最關鍵的是AI專業人才
企業需要擁有 AI 和機器學習的專業技術人員、資料科學家和工程師，更重要的是需要具備將 AI 技術與實際業務場景深度結合的跨領域整合能力。技術再先進，若缺乏對業務的深度理解和應用智慧，AI 導入仍難以創造真正的價值。
這三個要素形成一個完整的生態系統，企業必須在硬體投資、工具建設和人才培養上同步推進，才能真正實現AI轉型並獲得競爭優勢。
對大多數的企業主來說第一項不算是太嚴重的問題，基本上就是「錢能搞定的問題就不是問題!」。第二項呢其實也不是太嚴重，畢竟成熟的模型與工具越來越多。只是工具如何選擇則牽扯到最後一項，也是目前最難解決的問題。因為現階段真正具備專業知識又有實戰經驗的 AI 人才真的比日本製的壓縮機還稀少！就算企業捨得花錢也不見得能夠立馬從市場上找到人才。
人才的問題既然大家都看到了，Nvidia 當然也看到！若論當代 AI 人才的招募能力，Nvidia 鐵定是全球最有吸引力的公司之一。事實上，Nvidia 網羅了來自全球為數眾多的 AI 菁英納於麾下，同時也藉由這些優秀人才製作出出色異常的 AI 工具與產品，為其客戶提供一應俱全的解決方案。
________________________________________
首先，Nvidia 使用最新的容器封裝技術將各種各樣的 AI 工具與應用打包成微服務容器。
這些微服務被稱作 NIM (Nvidia Inference Microservices)，但其中的 I 現在並不僅僅侷限於 Inferenece(推理)的範疇，而是更為完整豐富的整體 AI 服務解決方案，它提供了：
• 預構建的推理微服務：針對熱門的 AI 模型（如 LLM、視覺模型等）提供現成的推理服務
• 標準化的 API 介面：讓開發者能夠輕鬆整合各種 AI 模型到應用程式中
• 優化的效能：針對 NVIDIA GPU 進行了深度優化，提供高效的推理效能
• 容器化部署：以容器形式提供，方便在各種環境中部署
NVIDIA NIM™
NVIDIA NIM™ 可提供預先建置的最佳化推論微服務，方便開發人員在任何 NVIDIA 加速基礎架構（包括：雲端、資料中心、工作站及邊緣環境）快速部署最新的 AI 模型。
________________________________________
那些由 AI 領域專家所開發的各式各樣微服務與工具，都發表在 NGC (Nvidia GPU Cloud) Catalog 平台上，提供給全球用戶訂閱使用。
NVIDIA NIM™
NGC Catalog 的應用服務包羅萬有，具體分類如下：
• Collection
Cllection 是基於用例的精選內容，包含在一個易於使用的軟體包中，適用於語音、智慧視訊分析、推薦等各種應用。Collection 讓您可以輕鬆找到相容的軟體容器、模型、Jupyter Notebook 和文檔，從而更快地開始使用。
• Container
NGC 目錄託管 AI/ML、元宇宙和 HPC 應用程式的容器，並且經過效能最佳化和測試，可部署在 GPU 驅動的本地、雲端和邊緣系統上。
• Helm Chart
Helm Chart 可在 Kubernetes 叢集上自動部署軟體，讓使用者專注於使用軟體，而非安裝。 NGC 目錄託管支援 Kubernetes 的 Helm Chart，讓您輕鬆部署強大的 NVIDIA 和第三方軟體。
• Model
NGC 目錄提供數百個預訓練模型，涵蓋電腦視覺、語音、推薦等領域。您可以直接使用這些模型，更快地將 AI 推向市場，也可以使用少量自訂資料快速建立專有模型。
• Resource
NGC 目錄透過 Jupyter Notebook 提供各種用例的逐步說明和腳本，包括機器學習、電腦視覺和對話式 AI。這些資源可幫助您更快地檢查、理解、自訂、測試和建立 AI，同時充分利用最佳實踐。
NGC Catalog 平台上同時提供了非常便捷的搜尋過濾器功能，可按照用戶自身的興趣精準篩選出相關的服務應用。
________________________________________
NVIDIA AI Workflow 旨在提供參考解決方案，幫助使用者利用 NVIDIA 框架建立 AI 解決方案，以解決常見用例。這些工作流程引導使用者在 NVIDIA 框架上進行微調並建立 AI 模型。其中重點介紹了創建應用程式的流程，並提供了部署客製化應用程式以及將其與企業環境中常見的各種元件（例如用於編排和管理、儲存、安全性、網路等的元件）整合的指南。
Nvidia AI Workflow 典型構件
通過 Nvidia 的 AI Workflow，專案能更快速地投入生產，具有更高的準確性、效率和基礎設施效能，為企業提供了一個完整的端到端 AI 解決方案，從基礎設施到應用程式，幫助組織快速採用和擴展人工智慧技術。
________________________________________
NVIDIA Run:ai 是專為 AI 調度和基礎設施管理而構建的平台，可加速整個 AI 生命週期中的 AI 工作負載，實現更快的價值實現。它通過動態編排實現跨 AI 生命週期的運營加速，最大化 GPU 利用率，高效擴展 AI 工作負載，並以最小開銷無縫整合到混合基礎設施中。
主要功能特色：
1. 動態資源管理
• 動態池化和編排跨混合環境的 GPU 資源，通過消除浪費、最大化資源利用率
• 配備該技術的 GPU 環境能夠運行的 AI 工作負載數量比原本可能的多達 10 倍
2. 平台架構
• 基於 Kubernetes 構建的開放平台，這是現代 AI 和雲端基礎設施的編排層
• 支援主要的 Kubernetes 變體，與第三方 AI 工具整合，並能處理甚至資料中心規模的 GPU 集群
• 該平台可以池化 GPU 並透過集中式介面為不同任務共享運算能力來管理基礎設施
3. 環境支援
• 讓企業客戶能夠管理和優化他們的運算基礎設施，無論是在本地、雲端還是混合環境中
• 零人工干預的混合 AI 基礎設施無縫整合
NVIDIA Run:ai 技術元件
NVIDIA Run:ai 同時照顧了資訊基礎管理員、平台管理員、以及 AI 團隊三種不同角色的需求：支援動態 GPU 分配、工作負載提交、工作負載調度和資源共享，確保 AI 團隊獲得所需的運算能力，同時 IT 團隊保持對基礎設施效率的控制。
________________________________________
NVAIE (Nvidia AI Enterprise) 是一套軟體套件授權，可以在雲端、資料中心和邊緣環境中使用，專為開發和生產 AI 使用案例提供優化效能、強固安全性和穩定性 NVIDIA AI。同NVAIE 是一個完整的企業級 AI 軟體平台，包含了基礎架構軟體與應用軟體兩部分。主要提供了如下支援：
• 端到端的 AI 軟體套件：涵蓋從開發到部署的完整 AI 工作流程
• 雲原生設計：支援容器編排和虛擬化平台
• 企業級功能：包括安全性、穩定性和技術支援
• 跨平台相容性：可在各種環境中部署，包括本地、雲端和邊緣
NVIDIA AI Enterprise 套裝方案
NVAIE 旨在簡化 AI 工作流程 —— 從開發到部署 —— 同時確保高效能、靈活性和企業級的可靠性。它是企業採用和擴展人工智慧的綜合解決方案。
| 需要留意的是，前述提到的 NIM、NGC 與 AI Workflow 其中相當部分需要 NVAIE 授權才能訂閱。 |
________________________________________
事實上，前面介紹的只是 Nvidia 眾多產品方案中的一部分而已。Nvidia 除了協助客戶解決底層基礎與平台的建設管理之外，在上層的 AI 應用方案也是著墨甚深，尤其致力於最新的 AI 軟體生態的建立。例如 NeMo、Riva、Blueprint、Onmiverse、AI-Q、Cosmos、Clara、Issac、繁族不及備載… (這些我們將來有機會再來介紹)
Nvidia 整體方案
Nvidia 不再僅是一家 GPU 芯片廠商，其觸覺早已延伸至當代最新的 AI 技術，敏銳且及時地推出最新技術的應用落地方案，讓客戶可以省掉非常多的研發時間、大幅減少試誤成本、更及時追上市場需求。同時也藉由自身豐富的實務經驗完善基礎設施的管理方案，讓客戶將精力集中在最能創造價值的應用服務之上。
先說結論：
| 從企業的應用角度來看，若短期內無法找到足夠合格的 AI 專業人才，那麼，直接訂閱 Nvidia 精心打造好的 AI 服務與產品將會是最省時有效的方法。 |
另一方面來說，就算企業千辛萬苦找到了為數不多的 AI 人才，接下來還需要面臨的挑戰是開發模式的選擇。如若採用自主開發模式，未來還需要投入大量的成本為企業選用適用的模型以及打造內部應用服務。
打個比方，我們可以用樂高積木散件來組裝出自己想要的玩具；但也可以直接購買更為完整的套裝玩具。從戰略上來看，除非企業打算推出用以銷售的 AI 產品，否則如果僅是滿足內部需要的話，巨量的資源投入以及漫長的開發週期，對於大部份企業來說都是不可承受之重。
組裝思維 v.s. 套裝思維
此外，這裡還需要為所有企業主灌輸一個極為重要的觀念，就是：
| 導入 AI 絕對是一件花錢的事情，沒有錢絕對不要想導入 AI！ |
總而言之，花錢不是問題，能迅速解決問題才是重點。
除了準備好花錢之外，還有另外一個關鍵技術也是當今企業資訊部門需要解決的。
從前面的介紹一路下來，我們可以從中清晰地看到了一條貫穿了所有 AI 應用方案的背後技術脈絡：Kubernetes (K8S)！不管是微服務、還是容器、亦或是 Run:ai ，背後都需要依賴 Kubernetes 平台的支援。比方說，NIM 裡面會用到的 sidecar 容器與 operator、NGC 上面的 Helm Chart、Run:ai 的容器平台、等等這些技術，都只能運行在 K8S 平台之上。
GPU 作業生態系統
事實上，我們從 Nvidia 的技術實作中明確看到了 K8S 已經不再是未來式，而是實實在在的進行式！這些先進的應用微服務容器都佈署在 K8S 平台上，包括了雲端與地端。同時 Nvidia 也推出自己的 BCM(Base Command Manager)在所有 Nvidia GPU 運算中心部署 K8S。
| 關於 BCM, 請參考我們另外一篇技術專欄文章：『Nvidia BCM 初探』 |
其他的領域我們不敢肯定，但在 AI 這個領域，我們可以大膽肯定 K8S 已經成為剛需！不管您願意不願意，如果打算幫企業導入 AI 的話，請先把 K8S 準備好。
不用等潮水退，而是海嘯來了你要先準備好如何活命下來...
我們何其有幸正在見證並參與了一場人類歷史以來最重要的技術躍遷，新的 AI 技術革新帶來了機會也帶來了挑戰，如何讓企業安然度過大時代的衝擊並同時把握住歷史的契機，的確是很多企業主無法規避的議題。
藉由 AI 技術的參與，當今的商業節奏比過往任何時代都快上 N 倍，及時洞悉當前的技術先機並採取正確的應對策略，已是當今企業的成敗關鍵。
END
聲明：文章圖片主要引用自 Nvidia 官網文件與手冊內容。