DIGITIMES Research:邊緣推論硬體市場破碎化 處理器與雲端業者投入端到端軟體方案以擴大領先優勢

DIGITIMES Research:邊緣推論硬體市場破碎化 處理器與雲端業者投入端到端軟體方案以擴大領先優勢。(DIGITIMES Research提供) DIGITIMES Research:邊緣推論硬體市場破碎化 處理器與雲端業者投入端到端軟體方案以擴大領先優勢。(DIGITIMES Research提供)

DIGITIMES Research表示,5G、AI及IoT等技術與應用持續擴展,邊緣推論市場面臨爆發性成長,然多元的邊緣應用情境雖為不同硬體方案帶來機會,也同時造成市場破碎化,為掌握競爭逐漸白熱化的邊緣推論商機,處理器及雲端平台業者如NVIDIA、英特爾(Intel)及Google皆投入端到端的邊緣推論軟體方案如TessorRT、OpenVINO及TensorFlow Lite,以維持各自的競爭優勢。

近年來,由於人工智慧及5G相關技術快速演進,加上雲端與IoT的基礎架構不斷完善,不論是個人、家庭等使用的消費性裝置,或是製造、醫療及安防等垂直領域,都在積極進行數位轉型及創新智慧應用。DIGITIMES Research分析師蕭聖倫指出,達成此目標的關鍵能力之一,是如何快速並有效的將人工智慧落地到各式各樣的邊緣裝置上。

然而,邊緣應用導入人工智慧推論面臨許多挑戰。首先,深度學習演算法不斷推陳出新,對計算能力的要求也越來越高,然邊緣運算裝置資源有限,人工智慧推論能力遠不如雲端運算。此外,不同邊緣應用情境對性能(performance)及效率(efficiency)的要求不同,連帶影響業者對推論硬體(主要是NVIDIA、ARM、英特爾、高通、華為等業者)的設計思維,也造成今日硬體市場的破碎化。

欲主導邊緣推論發展,須掌握訓練後模型(trained model)、推論硬體及推論軟體工具等三大關鍵要素,其中,主導訓練模型發展的深度學習訓練框架(deep learning training framework)發展已進入成熟階段;邊緣推論硬體市場則極為破碎,不同處理器雖帶來更大的應用彈性,但因異構優化方式不同,也為訓練後模型在邊緣裝置的部署帶來重大挑戰。

至於推論軟體工具,業者漸漸了解,要確保邊緣推論的最終效果,必須掌握從訓練後模型到可執行推論產品間的種種環節,於是能接收訓練後模型,對模型進行最佳化,並將模型部署到邊緣設備上的完整端到端(end to end)邊緣推論軟體方案漸成市場共識。

訂閱必聞電子報


加入必聞網好友 必聞網紛絲頁

新聞留言板