前 NVIDIA 工程師創業！奎景運算用平行化技術實現 AI for All 願景

AI 應用技術在全球持續增長，據 IDC 的報告，全球 2020 年 AI 整體市場規模為 1,565 億美元，成長率高達 12.3%，其中，軟體所佔比重達 80%，IDC 也樂觀預期，AI 這片藍海的市場規模，將以年複合成長率 17% 的速度成長，在 2024 年突破 3,000 億美元。

AI 民主化（democratize AI）是指透過雲端運算服務，簡化 AI 工具、降低導入門檻，讓 AI 技術可以迅速普及化，順利部署到各行各業，而不是只有少數企業可以使用的技術。

2018年，從美國歸來的陳俊傑（Jay Chen）帶著他在 NVIDIA 頂尖工程團隊練就的一身武功返台，偕兩位台大學弟黃建文、王凡熙共同創業，想藉著台灣優質的軟硬體人才，為眾多投入開發 AI 應用的企業、新創，解決一個巨大的難題——如何讓 AI 模型訓練變得更快速有效。

AI 模型開發流程曠日費時，小企業難以負荷

「AI 模型訓練的難題，連 Google、Facebook、Amazon 那些掌握龐大資源的國際級企業都認為是巨大的挑戰，」陳俊傑說。

AI 工程師要訓練一支模型需要經過哪些步驟？第一步要先設計軟硬體架構（framework），比如讀取資料的軟體、、資料需是否需要加註等；第二步設定系統環境，如：裝置版本、資料庫、 GPU 種類等，第三是網絡設計、訓練模型、驗證模型，「這是一個一直重複試驗的工程，如果嘗試的過程中，哪個程式改版了，可能又要再調整一次。」Jay說。

光是 AI 模型訓練就需要花費大約一年左右，訓練好的模型還得花費數個月來建置 AI 系統以部署到各種應用場域，並檢驗 AI 系統的完整性。這中間還得克服開發套件更新與相容性問題，耗費大量時間反覆重新建置環境、套件除錯等工作。

AI 落地漫長的流程，大企業可以憑藉資源、人才優勢克服，不過中小型企業卻沒有相應的能力與資本投入，導致即便企業有意識到要數位轉型，甚至也已經開始收集資料，卻苦無應用方式的窘境。

平行化技術讓多 GPU 同時工作，大幅提升運算效能

如果我們把運算 AI 演算法的 GPU 想像成人類的大腦，過去訓練 AI 模型，使用一顆大腦計算就足夠，可是當資料量又多又複雜時，一顆大腦處理時間很長、效率很低，就需要好幾顆大腦一起處理這個問題。

平行計算（Parallel Computing）則是個解方，也就是同時使用多種計算資源解決計算問題的過程，把訓練 AI 模型的大任務拆成許多小任務，分佈在不同的運算單位上。奎景運算在多個 GPU 之間建立加速平行化的模組，讓不同 GPU 之間交互運算，並且改良傳統演算法的運算方法，藉以提升運算效率。據估計，客戶在團隊的協助下，模型訓練的運算速度可達到以往的 7 倍，並至少降低 40% 以上的人力及研發成本。

陳俊傑在就讀台大博班時，就專注在研究以平行化運算的演算法處理大數據資料，加速 AI 模型訓練的速度。「現在的深度學習（ Deep learning ）遇到跟當時一樣的問題，需要大量計算、使用多 GPU 來算，要做這種平行化技術進入門檻很高。」

深度學習是以類神經網絡（Neural Network）的架構來讓電腦學習資料，跟傳統機器學習（Machine Learning）所需要使用的演算法不盡相同，在導入平行化運算時甚至需要重整底層架構，「從系統底層、硬體架構、軟體演算法、軟體應用都需要調整，要訓練平行化運算的專家要花很長一段時間。」

降低 AI人才轉型門檻，打造 AI for all 基石

即便擁有工程團隊，想訓練自己的 AI 仍是曠日費時的大工程，陳俊傑回台後，與台北科技大學教授產學合作首件友達光電 AI 專案，更貼近看見產業的痛點與需求，「企業要的不是把模型外包給別人訓練，而是我們能不能提供好工具，讓他自己的工程人才可以轉型，跟產業知識結合，更快速獲得一個 AI 應用。」

不同於許多 AI 新創專注於解決垂直產業（從軟體架構設計到運算的一條龍服務）的問題，奎景運算想打造一個專為 AI 開發者而生的水平（horizontal AI）平台，「我們專注在處理一個環節，就是 AI 模型訓練的加速與部署。」降低 AI人才轉型與數位轉型的門檻，針對開發 AI 的系統最佳化、加速 AI 模型訓練速度及 AI 模型部署提供簡潔的運算架構，從而加速 AI 在各產業的研發速度。

「網絡設計（Design network）才是 AI 工程師真正的價值所在，我們希望能讓他們專注在這件事情上。」陳俊傑說，「我們最後期望做到 AI For All，任何人都能運用我們的運算技術去實現他們的 AI 應用，就像線上購物一樣容易。」

智慧醫療新應用，頂尖工程人才為台灣連結世界

在奎景運算的運算架構上，小型 AI 公司或團隊也可以充分發揮 GPU 運算裝置的效能，能快速簡單的運用多個 GPU 運算來節省 AI 模型的訓練時間。「只要持續有在穩定收資料，而且有所成長，就能更快速、準確產出模型」，Jay說。

目前有智慧醫療、智慧製造等領域的開發者採用奎景的服務。2019 年開始，奎景與智慧聽診器的聿信醫療合作，協助以醫療專業為主的團隊，訓練出能判讀呼吸異音、呼吸中止的 AI 模型，除此之外，也能夠更快速部署到不同邊緣裝置上，「因為醫療資料都是高度、精密的訊號，資料量很大，怎麼加速就很重要。」負責技術研發的黃建文說。

延伸閱讀：醫師結盟工程師！聿信醫療整合開刀房內軟、硬體，連續監測人類呼吸訊號

「在台灣做軟體很難，但我們看重的是很好的腦袋，一開始著眼於海外市場，」陳俊傑笑說台灣擁有頂尖的工程人才，即便在美國也不輸其他國家的人才，他希望善用這項優勢開展海外市場，近期有美、日市場的公開計畫。

想創造台灣與世界的連結是 Jay 從美國返台的重要動力，奎景運算於 2020 年 9 月入選 Berkeley Skydeck 加速器，並於今年 5 月開始加入訓練，預計於十月展開首輪募資。「我們希望提升台灣的產業競爭力，創造人才轉型動力，本來大家一看到底層的東西就害怕，現在可以用我們的東西加速 AI 應用在各行各業發生。」