NeMo Guardrails 是 NVIDIA NeMo 平台的一部分，作為這些微服務的協調核心，負責彙整、客製化並為 AI 提供全面保護。它幫助開發人員在大型語言模型（LLM）應用中有效整合和管理 AI 防護工作。Amdocs、Cerence AI 和 Lowe's 等多家業界領導廠商已採用 NeMo Guardrails，以提升 AI 應用的安全性和可靠性，從而確保生成式 AI 系統在不同情境中運作良好。
開發人員可利用 NIM 微服務來打造更安全且值得信賴的 AI 代理，這些代理在特定情境指引下提供適當回應，並強化對越獄行為的防禦能力。這些技術應用廣泛，涵蓋汽車、金融、醫療保健、製造和零售等產業，幫助企業提升客戶滿意度與信任度。特別是內容安全微服務，採用 NVIDIA 開發的 Aegis 內容安全資料集進行訓練，該資料集包含超過 35,000 個經人工註解的樣本，是同類型中品質最高的資料來源之一，能有效檢測和防範試圖繞過系統限制的行為，並在 Hugging Face 上公開提供以支持更廣泛的應用開發。
AI 正在迅速提升各種業務流程的效率，尤其在客戶服務領域，AI 的應用使解決問題的速度提升了 40%。然而，隨著 AI 在客戶服務及其他領域的規模化發展，安全性成為關鍵挑戰。企業需要確保 AI 模型不會輸出有害或不當內容，並能在既定參數內運作，以提供穩定且值得信賴的服務。
為此，NVIDIA 推出了 NeMo Guardrails 的三款全新 NIM 微服務，專為強化 AI 代理的安全性與控制力設計。內容安全微服務可防止 AI 產生偏見或不當回應；主題控制微服務確保對話集中於核准範疇，避免離題；越獄偵測微服務則強化防禦措施，抵禦越獄嘗試。這些輕量化的專用模型，即使在資源受限或分散式環境中，仍能高效執行，特別適合醫療保健、汽車及製造業等產業。透過這些創新，開發人員能有效補足傳統政策的不足，為 AI 代理的複雜應用流程提供更全面的防護與控制。
NVIDIA 的 NeMo Guardrails 是一項開放給開源社群使用的技術，旨在協助開發人員協調多種稱為 rails 的 AI 軟體原則，增強大型語言模型應用的安全性與控制能力。它與 NVIDIA 的 NIM 微服務無縫搭配，提供建置 AI 系統的強大框架，使大規模部署能夠兼顧安全性與效能。全球領先的通訊與媒體公司 Amdocs 已採用 NeMo Guardrails，強化 AI 驅動的客戶互動，確保回應內容安全、準確且符合情境。Amdocs 科技事業群總裁 Anthony Goonetilleke 強調，這項技術對於生成式 AI 應用的保護至關重要，並表示其 amAIz 平台因整合了 NeMo Guardrails 而具備更高的可信任性。
專注於汽車產業的 Cerence AI 也運用 NeMo Guardrails，確保車載助理能在 CaLLM 語言模型的支援下提供安全且符合情境的互動。Cerence AI 產品與技術部門執行副總裁 Nils Schanz 指出，該技術不僅能為汽車製造商客戶提供情境感知解決方案，還能過濾有害或不適當的請求，確保最終用戶獲得合理且貼心的回應。同時，NeMo Guardrails 的客製化功能滿足了不同汽車品牌的需求，提升了其在產業中的應用價值。
在零售業，家居裝修零售商 Lowe's 正利用生成式 AI 提升店員的專業知識，協助回答客戶問題並推薦合適的產品。該公司資料、AI 與創新部門資深副總裁 Chandhu Nair 表示，NeMo Guardrails 確保 AI 生成的回應安全且可靠，為對話內容設立邊界，僅提供相關且適當的資訊。此外，NVIDIA 在 NRF 大會上宣布，針對零售購物助理的 AI Blueprint 已整合 NeMo Guardrails 微服務，進一步提升數位購物體驗的安全性與可控性。
NeMo Guardrails 的開放性與可擴展性使其能與多家 AI 安全模型供應商合作，形成強大的生態系統。例如，ActiveFence 的 ActiveScore 可過濾對話式 AI 中的有害內容，而 Hive 提供的 NIM 微服務則能協調圖片、影片和聲音內容的生成式 AI 偵測模型。此外，Fiddler AI Observability 平台與 Weights & Biases 的整合，進一步強化了 AI 應用的監控與優化功能，為生產環境中的 AI 推論建立更高的可靠性。Taskus、Tech Mahindra 與 Wipro 等顧問業領導廠商也將 NeMo Guardrails 融入其解決方案，為企業提供更安全、可靠的生成式 AI 應用，展現了這項技術在多元產業中的廣泛應用潛力。
NVIDIA 提供的開源工具包 Garak，由其研究團隊開發，專為測試大型語言模型及應用程式的安全性而設計。開發人員可以利用 Garak 掃描系統中的漏洞，例如資料外洩、提示注入、程式碼幻覺及越獄情境等問題，找出潛在風險並加以解決。
Garak 可生成針對不當或錯誤輸出的測試案例，協助強化 AI 模型的穩健性與安全性。此外，NeMo Guardrails 微服務及其協調工具也已開放使用，為開發人員和企業提供建立 AI 防護措施的解決方案。透過這些工具，開發者能輕鬆上手，為 AI 代理實現更安全的應用，特別是在客戶服務領域的實際部署中大幅提升信任度與可靠性。