超高階NVIDIA RTX 6000 Ada 專業影像處理卡 頂級機皇開箱評測
24/01/2024
![NVIDIA RTX 6000 Ada | Advantech Industrial GPU Solutions](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_1.jpg)
研華提供多樣化的Industrial GPU Solutions,特別是搭載NVIDIA全系列的企業級專業顯卡。作為NVIDIA 的精英合作夥伴,研華擁有優先取得最新一代GPU卡的使用授權,以及NVIDIA技術團隊的專屬支持,為研華客戶提供最專業的諮詢服務。
研華的Edge AI解決方案在各產業應用廣泛,累積豐富的工業與企業級用戶合作經驗,接下來我們將針對現今熱門的專業等級NVIDIA RTX GPU卡系列進行橫向評比,幫助客戶評估適合佈署於工業物聯網,和各種垂直應用,如:製造、運輸、醫療、遊戲產業的GPU圖形處理卡。
本文看點:
- NVIDIA RTX 6000 Ada與RTX A6000 的規格比較
- 超高階專業影像處理卡NVIDIA RTX 6000 Ada 功能亮點
- 四大專業效能測評:
- 專業建模及繪圖軟體SPECviewperf 2020效能測試
- AI圖像生成模型 Stable Diffusion算圖速度測試
- 深度學習、AI模型訓練Lambda Labs PyTorch GPU Training Benchmark
- 3D性能 3DMark Time Spy測試
![NVIDIA RTX 6000 Ada | Advantech Industrial GPU Solutions](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_2.jpg)
NVIDIA RTX 6000 Ada與RTX A6000的規格比較
最新的 NVIDIA® RTX™ 6000 GPU 卡,採用最新的Ada Lovelace 架構、新一代CUDA核心、第三代 RT 核心,以及第四代 Tensor 核心,與前一代RTX A6000相比,在核心數與效能上,有近70%的大幅度升級,並提供令人印象深刻的 FP32單精度浮點運算能力。
NVIDIA RTX 6000 Ada配備48GB 的ECC視訊記憶體,但最大功耗僅300瓦,約為一般主打遊戲玩家GPU卡的三分之二而以,這對佈署在邊緣的AI應用,以及高階影像處理至關重要,幫助客戶建構更高效且穩定的AI加速與圖形工作站。
規格比較表:
![NVIDIA RTX 6000 Ada與RTX A6000的規格比較表](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/spec-comparison.png)
在供電端子部分,NVIDIA RTX 6000 Ada導入全新的12VHPWR 16 PIN介面
![在供電端子部分,NVIDIA RTX 6000 Ada導入全新的12VHPWR 16 PIN介面](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_3.jpg)
在規格轉換期間,NVIDIA貼心地為客戶提供一條 PCIe 8 PIN x 2 to 16 PIN的轉接線材,讓客戶仍可繼續使用原有的電源供應器。
![NVIDIA貼心地為客戶提供一條 PCIe 8 PIN x 2 to 16 PIN的轉接線材](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_4.jpg)
![NVIDIA貼心地為客戶提供一條 PCIe 8 PIN x 2 to 16 PIN的轉接線材](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_5.jpg)
在外觀上,RTX 6000 Ada仍保持跟RTX A6000一樣的鋼琴烤漆鏡面設計,「會反光」的RTX GPU卡,就是其機皇的身份象徵!
![RTX 6000 Ada鋼琴烤漆鏡面設計,「會反光」的RTX GPU卡,就是其機皇的身份象徵!](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_6.jpg)
值得注意的是,NVIDIA RTX 6000 Ada的上側連接埠,主要是搭配Quadro Sync多螢幕同步顯示功能使用,不再提供NVLink的連結設計。若需使用NVLink功能,則建議客戶採用前一代的NVIDIA RTX A4500 / A5000 / A5500 / A6000 GPU卡。
![NVIDIA RTX 6000 Ada側連接埠搭配Quadro Sync多螢幕同步顯示功能](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_7.jpg)
最新一代旗艦機皇NVIDIA RTX 6000 Ada, 較前一代的 RTX A6000,在規格上有十足的升級,且各方面的理論峰值性能也有大幅的增加,以下針對企業級用戶常用並在意的特點逐一說明。
超高階專業影像處理卡NVIDIA RTX 6000 Ada 功能亮點
- 大容量、高速48GB GDDR6 記憶體
採用 48GB GDDR6 內存,在光線追踪、渲染和 AI 工作負載的吞吐量,均比上一代提高了 25%。RTX 6000 Ada 提供業界最大的圖形內存記憶體,在對延遲敏感的專業應用中,能處理最大的數據集和大型模型。至於大容量VRAM是否有對應優勢,將由後續的AI相關測項進行確認。
- 記憶體具備修正錯誤代碼 (ECC)
提供自動偵測並修復錯誤能力,提升數據完整性,協助維持模型運算的準確性與和穩定性,以可靠地執行關鍵任務。避免工作站在長時間的運算過程中,遇到數據存取或傳輸錯誤問題而突然中斷,並為工作站的計算提供無與倫比的準確性與可靠性。
- NVIDIA 虛擬 GPU 軟體
對 NVIDIA 虛擬 GPU (vGPU) 軟體的支持,允許將個人工作站重新調整為多個高性能虛擬工作站,使遠程用戶能夠共享資源以驅動高階設計、AI 和計算工作負載。後續研華將會針對此主題,再另外分享文章介紹。
NVIDIA® RTX™ 體驗
NVIDIA RTX 體驗為您的桌面工作站提供一套生產力工具,包括高達8K 的桌面錄製,主動通知最新 NVIDIA RTX Enterprise 驅動程式更新,以及訪問遊戲功能。
四大專業效能測評
開箱完畢,接下來就是本篇文章的最大亮點-效能評測了!本次測試中,我們囊括了專業與電競領域的代表,總共評測了4張主打專業與企業級應用的NVIDIA RTX 6000 Ada, RTX A6000, RTX A4500, 與RTX A4000。
測試工具則有四種:各種專業建模及繪圖軟體的SPECviewperf 2020效能測試,最夯的AI圖像生成模型 Stable Diffusion算圖速度測試,主打Deep Learning, AI Model Training的Lambda Labs PyTorch GPU Training Benchmark,以及最後是專門測試3D性能的3DMark Time Spy。
總體而言,NVIDIA RTX 6000 Ada 在所有的測試當中,效能相較上一代RTX A6000都有顯著的成長。主要原因是,採用了最新一代ADA Lovelace架構,升級了 CUDA 核心、第三代 RT Core與第四代 Tensor Core,核心數均較上一代增加了69%,Rendering的效能更是達到了上一代的3倍,AI Inference的效能則是上一代的2倍。
此外,本篇文章會著重評論NVIDIA RTX 6000 Ada,讓大家了解這張機皇在性能、功耗,以及系統整合性的優勢,讓我們來逐一觀察各測試結果!
1. 專業建模及繪圖軟體SPECviewperf 2020效能測試
SPECviewperf 2020是測試各產業專業軟體的繪圖效能,包含:3ds Max、Catia、Creo、Energy、Maya、Medical、SNX、SolidWorks 等,各類繪圖測試與工程模擬軟體。
![SPECviewperf 2020 1080p | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/SPECviewperf-2020-1080p.png)
從測試結果來看,RTX 6000 Ada幾乎在所有的軟體中,效能都稱霸於其他RTX GPU卡,以製造業常用建模軟體SNX為例,在常見的1080p 解析度下,RTX 6000 Ada的效能幾乎是RTX A6000的2倍 (1080p)。而醫療及能源領域的應用軟體,RTX 6000 Ada提供的效能,也幾乎是其他本次受測GPU卡的2倍以上。由此可見,在專業領域的繪圖與建模軟體,非常推薦客戶升級至NVIDIA TX 6000 Ada!
2. AI圖像生成模型 Stable Diffusion算圖速度測試
生成式AI應屬當前最熱門的AI應用了,Stable Diffusion是一個深度學習模型,能將文字描述的內容,生成細緻圖片。越來越多企業級客戶需要在地端環境,來生成自己企業用的AI圖像,以避免機密資料外洩的疑慮。這時候就需要研華的GPU Edge Computer搭配NVIDIA GPU卡,建構私有的圖形處理工作站,運行Stable Diffusion了!
![AI圖像生成模型 Stable Diffusion算圖速度測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/Stable-Diffusion.jpg)
測試結果可以看到,RTX 6000 Ada生成圖片的速度,是在所有受測卡片中最快的!一次同時生8張圖片(batch size=8),不到1秒即可生成一張圖片!還能維持在相同功耗下,較RTX A6000 每秒生成更多的圖片(0.66張→1.06張),縮短算圖時間,圖片生成效益最佳!
![AI圖像生成模型 Stable Diffusion算圖速度測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/算圖速度.png)
![AI圖像生成模型 Stable Diffusion算圖速度測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/Stable-Diffusion_128.png)
3. 深度學習、AI模型訓練Lambda Labs PyTorch GPU Training Benchmark
PyTorch是一種建構deep learning的框架,常用於電腦視覺、自然語言處理,甚至是特斯拉自動駕駛的AI Model Training。在這項測試中,RTX 6000 Ada在處理各種AI model training資料的效率仍然稱霸所有RTX GPU卡。然而值得注意的是,可高度分工的AI模型訓練,在一台系統內,插越多張GPU卡,訓練的速度就會等比成長,所以GPU卡與系統的兼容性,就非常重要!
![深度學習、AI模型訓練Lambda Labs PyTorch GPU Training Benchmark | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/FP16-Training-Performance-(relative-to-RTX-6000-Ada).png)
RTX 6000 Ada的優勢在於,其dual slots form factor與低功耗設計,讓客戶能夠在一台伺服器內,整合更多張的GPU卡,從而提升AI 訓練的效能。以2U的伺服器SKY-6200為例,即可以插入4張RTX 6000 Ada, 但若使用需要3.5 slots form factor的GPU卡, 因其不同的外型設計,常有無法整合入2U伺服器的風險。
例如,企業客戶最常用的4U伺服器SKY-640 V3,若採用3.5 slots的GPU卡,則僅能整合2張GPU卡,但若採用RTX 6000 Ada,則可整合4張GPU卡,較2張卡的系統,提供多一倍的模型訓練效能。且所需TGP (顯卡最大供電) 僅1200W,在常見供電2000W的伺服器中,也完全不用擔心供電不足的問題。
![4U伺服器SKY-640 V3, SKY-6200 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/SKY系統容納卡數.png)
特別在散熱設計部分,RTX 6000 Ada搭配雙進氣Blower設計
![在散熱設計部分,NVIDIA RTX 6000 Ada搭配雙進氣Blower設計](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_8.jpg)
因此,若在一個系統內,整合多張RTX 6000 Ada GPU卡,在並列且緊密貼合的安裝配置下,也可以取得有效的進氣量來維持運行的穩定,這也是帶來可擴展性,以及能長時間穩定運行的設計秘訣。
![在散熱設計部分,NVIDIA RTX 6000 Ada搭配雙進氣Blower設計](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_9.jpg)
4. 3D性能3DMark Time Spy測試
最後,在3DMark Time Spy測試中,RTX 6000 Ada較上一代A6000效能增加76% (18,514 → 32,659),主要是受益於核心數的升級。
![3D遊戲性能3DMark Time Spy測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/3DMark-Time-Spy.png)
透過下圖,我們可以看到,在運算過程中,RTX 6000 Ada 的TGP都維持在將近300W之處,而GPU Clock則是在1,900MHz 到2,500MHz之間浮動。
![3D遊戲性能3DMark Time Spy測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/3DMark-Time-Spy.jpg)
![3D遊戲性能3DMark Time Spy測試 | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/3DMark-Time-Spy_table.png)
RTX 6000 Ada利用擁有更多的CUDA Cores, Tensor Cores, 與RT Cores, 因此能以較低且浮動的GPU Clock表現,仍舊維持在高效能,同時帶來低功耗的優勢,這才是讓工作站長期穩定運行的優勢與秘訣。
結論: 頂級GPU機皇搭配全球第一的工業電腦,佈署最高效可靠的AI工作站
頂級機皇NVIDIA RTX 6000 Ada,在本次受測的4張GPU卡中,有著最高的效能,出色的雙向散熱設計與低功耗的優勢,帶來最佳的系統整合性、擴充性,及軟體相容性。支援各種專業應用軟體,以滿足專業應用的需求,並為企業客戶提供雙倍以上的密集型運算效能,同時確保工作站7天/ 24小時的穩定運行與效率。
隨著邊緣運算、AI加速、GPU運算及5G的廣泛應用,各種AI應用越來越需要佈署在邊緣,以提供即時AI inference運算, 降低延遲性。研華是NVIDIA Elite Partner, 可供應全系列的NVIDIA Enterprise PCIe GPU卡,包含Professional RTX GPU卡,以及應用於資料中心與AI Training的GPU卡 。並具有優先取得最新產品的使用授權,以及NVIDIA技術團隊,在硬體、軟體與驅動程式的專屬支持。
更重要的是,研華是世界第一的工業電腦品牌商,在邊緣運算與AI解決方案累積多年經驗,提供多樣化的系統供客戶選擇,以及整合的技術與服務。並通過NVIDIA嚴格的系統認證 (NVIDIA-Certified and Qualified),可確保系統的穩定運行,以及軟體的相容性,讓客戶的各種應用專案可在最短時間內佈署並推出,在AI與加速運算的時代中,創造最佳價值!
![世界第一的工業電腦IPC, Industria PC Advantech | NVIDIA RTX 6000 Ada](https://advcloudfiles.advantech.com/cms/e6011469-7233-403b-8192-ee9da2c99a6d/Content/GPU_10.jpg)