論文の概要: Granite Guardian

• arxiv url: http://arxiv.org/abs/2412.07724v2
• Date: Mon, 16 Dec 2024 20:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:24.245366
• Title: Granite Guardian
• Title（参考訳）: グラナイト・ガーディアン
• Authors: Inkit Padhi, Manish Nagireddy, Giandomenico Cornacchia, Subhajit Chaudhury, Tejaswini Pedapati, Pierre Dognin, Keerthiram Murugesan, Erik Miehling, Martín Santillán Cooper, Kieran Fraser, Giulio Zizzo, Muhammad Zaid Hameed, Mark Purcell, Michael Desmond, Qian Pan, Zahra Ashktorab, Inge Vejsbjerg, Elizabeth M. Daly, Michael Hind, Werner Geyer, Ambrish Rawat, Kush R. Varshney, Prasanna Sattigeri,
• Abstract要約: 我々はGranite Guardianモデルを紹介した。これは、プロンプトとレスポンスのリスク検出を提供するために設計された、一連のセーフガードである。 これらのモデルは、社会的偏見、暴言、暴力、性的内容、非倫理的行動、脱獄、幻覚関連リスクを含む、複数のリスク次元を包括的にカバーする。 AUCの有害なコンテンツに対する0.871と0.854のスコアとRAG-ハロシン化関連ベンチマークにより、Granite Guardianはこの分野で最も一般化可能な競争モデルである。
• 参考スコア（独自算出の注目度）: 35.91721374394415
• License:
• Abstract: We introduce the Granite Guardian models, a suite of safeguards designed to provide risk detection for prompts and responses, enabling safe and responsible use in combination with any large language model (LLM). These models offer comprehensive coverage across multiple risk dimensions, including social bias, profanity, violence, sexual content, unethical behavior, jailbreaking, and hallucination-related risks such as context relevance, groundedness, and answer relevance for retrieval-augmented generation (RAG). Trained on a unique dataset combining human annotations from diverse sources and synthetic data, Granite Guardian models address risks typically overlooked by traditional risk detection models, such as jailbreaks and RAG-specific issues. With AUC scores of 0.871 and 0.854 on harmful content and RAG-hallucination-related benchmarks respectively, Granite Guardian is the most generalizable and competitive model available in the space. Released as open-source, Granite Guardian aims to promote responsible AI development across the community. https://github.com/ibm-granite/granite-guardian
• Abstract（参考訳）: 我々はGranite Guardianモデルを紹介した。これは、プロンプトとレスポンスのリスク検出を提供するために設計された、大規模な言語モデル(LLM)と組み合わせて安全かつ責任ある使用を可能にするセーフガードである。 これらのモデルは、社会的偏見、挑発性、暴力、性的内容、非倫理的行動、脱獄、および文脈関連性、根拠性、検索強化世代(RAG)に対する回答関連性などの幻覚関連リスクを含む、複数のリスク次元を包括的にカバーする。 さまざまなソースからの人間のアノテーションと合成データを組み合わせたユニークなデータセットに基づいて訓練されたGranite Guardianモデルは、ジェイルブレイクやRAG固有の問題といった従来のリスク検出モデルによって見落とされたリスクに対処する。 AUCの有害なコンテンツに対する0.871と0.854のスコアとRAG-ハロシン化関連ベンチマークにより、Granite Guardianはこの分野で最も一般化可能な競争モデルである。 Granite Guardianはオープンソースとしてリリースされ、コミュニティ全体で責任あるAI開発を促進することを目指している。 https://github.com/ibm-granite/granite-guardian

関連論文リスト

• RAG-Thief: Scalable Extraction of Private Data from Retrieval-Augmented Generation Applications with Agent-based Attacks [18.576435409729655]
  本稿では,RAG-Thiefと呼ばれるエージェントベースの自動プライバシ攻撃を提案する。 RAGアプリケーションで使用されるプライベートデータベースから、スケーラブルな量のプライベートデータを抽出することができる。 我々の発見は、現在のRAGアプリケーションにおけるプライバシー上の脆弱性を強調し、より強力な保護の必要性を強調します。
  論文  参考訳（メタデータ） (2024-11-21T13:18:03Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [21.01313168005792]
  我々は、意見操作のためのブラックボックス攻撃に直面した場合、検索強化生成(RAG)モデルの脆弱性を明らかにする。 このような攻撃がユーザの認知と意思決定に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-07-18T17:55:55Z)
• Typos that Broke the RAG's Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations [9.209974698634175]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の限界に対処するための有望なソリューションである。 本研究では,RAGのロバスト性評価における2つの未解明点について検討する。 本稿では,RAG(textitGARAG)を標的とした新たな攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T07:49:36Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples [67.66153875643964]
  バックドア攻撃は、機械学習モデルに対する深刻なセキュリティ脅威である。 本稿では,小さなクリーンデータセットを用いて,バックドアモデルの浄化作業について検討する。 バックドアリスクと敵的リスクの関連性を確立することにより、バックドアリスクに対する新たな上限を導出する。
  論文  参考訳（メタデータ） (2023-07-20T03:56:04Z)
• Typology of Risks of Generative Text-to-Image Models [1.933681537640272]
  本稿では,DALL-EやMidjourneyといった現代テキスト・画像生成モデルにかかわる直接的なリスクと害について検討する。 これらのリスクの理解と治療に関する知識のギャップは,すでに解決されているものの,我々のレビューでは明らかである。 データバイアスから悪意のある使用まで、22の異なるリスクタイプを特定します。
  論文  参考訳（メタデータ） (2023-07-08T20:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。