論文の概要: Class-RAG: Real-Time Content Moderation with Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2410.14881v2
• Date: Tue, 17 Dec 2024 22:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:46:51.88483
• Title: Class-RAG: Real-Time Content Moderation with Retrieval Augmented Generation
• Title（参考訳）: Class-RAG:Retrieval Augmented Generationによるリアルタイムコンテンツモデレーション
• Authors: Jianfa Chen, Emily Shen, Trupti Bavalatti, Xiaowen Lin, Yongkai Wang, Shuming Hu, Harihar Subramanyam, Ksheeraj Sai Vepuri, Ming Jiang, Ji Qi, Li Chen, Nan Jiang, Ankit Jain,
• Abstract要約: 検索拡張生成(Class-RAG)を用いた分類手法を提案する。 モデル微調整と比較すると、クラスRAGは意思決定の柔軟性と透明性を示し、分類に優れ、敵の攻撃に対してより堅牢である。 また,検索ライブラリのサイズによってクラスRAG性能が向上することが示唆され,ライブラリサイズの増加はコンテンツモデレーションを改善するための実用的で低コストなアプローチであることが示唆された。
• 参考スコア（独自算出の注目度）: 15.298017013140385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust content moderation classifiers are essential for the safety of Generative AI systems. In this task, differences between safe and unsafe inputs are often extremely subtle, making it difficult for classifiers (and indeed, even humans) to properly distinguish violating vs. benign samples without context or explanation. Scaling risk discovery and mitigation through continuous model fine-tuning is also slow, challenging and costly, preventing developers from being able to respond quickly and effectively to emergent harms. We propose a Classification approach employing Retrieval-Augmented Generation (Class-RAG). Class-RAG extends the capability of its base LLM through access to a retrieval library which can be dynamically updated to enable semantic hotfixing for immediate, flexible risk mitigation. Compared to model fine-tuning, Class-RAG demonstrates flexibility and transparency in decision-making, outperforms on classification and is more robust against adversarial attack, as evidenced by empirical studies. Our findings also suggest that Class-RAG performance scales with retrieval library size, indicating that increasing the library size is a viable and low-cost approach to improve content moderation.
• Abstract（参考訳）: ロバストコンテンツモデレーション分類器は、生成AIシステムの安全性に不可欠である。 このタスクでは、安全でない入力と安全でない入力の違いは、しばしば非常に微妙であり、分類器(そして人間でさえも)が文脈や説明なしに、違反するサンプルと良心的なサンプルを適切に区別することは困難である。 継続的モデルの微調整によるリスク発見と緩和のスケーリングも遅く、困難でコストがかかるため、開発者は緊急の害に対して迅速かつ効果的に対応できない。 本稿では,Retrieval-Augmented Generation (Class-RAG) を用いた分類手法を提案する。 Class-RAGは検索ライブラリへのアクセスを通じてベースLLMの機能を拡張し、動的に更新することで、即時かつ柔軟なリスク軽減のためのセマンティックホットフィックスを可能にする。 モデル微調整と比較すると、クラスRAGは意思決定の柔軟性と透明性を示し、分類に優れ、実証的な研究によって証明されているように、敵の攻撃に対してより堅牢である。 また,検索ライブラリのサイズによってクラスRAG性能が向上することが示唆され,ライブラリサイズの増加はコンテンツモデレーションを改善するための実用的で低コストなアプローチであることが示唆された。

関連論文リスト

• A generative approach to LLM harmfulness detection with special red flag tokens [15.796683630119654]
  我々はレッドフラッグトークン(rf>)と呼ばれる特別なトークンでモデルの語彙を拡張することを提案する。 本発明の安全性訓練方法は、会話中に常に有害な生成分類器にLLMを効果的に増強する。 また、入力プロンプトだけでなく、生成された各回答を評価し、サンプリングベースの攻撃に対してより強力な防御を提供する。
  論文  参考訳（メタデータ） (2025-02-22T21:48:48Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Resilience to the Flowing Unknown: an Open Set Recognition Framework for Data Streams [6.7236795813629]
  本研究では、分類とクラスタリングを組み合わせて、ストリーミングシナリオにおけるテキストオーバ占有空間問題に対処するオープンセット認識フレームワークの適用について検討する。
  論文  参考訳（メタデータ） (2024-10-31T11:06:54Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations [29.32704733570445]
  我々は人間とAIの会話のユースケースを対象とした入出力保護モデルであるLlama Guardを紹介した。 ラマガードは、特定の安全リスクを分類する貴重なツールである安全リスク分類を取り入れている。 Llama Guardは、OpenAIモデレーション評価データセットやToxicChatなど、既存のベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-07T19:40:50Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Disentangled Contrastive Collaborative Filtering [36.400303346450514]
  グラフコントラスト学習(GCL)は、監督ラベル不足問題に対処する上で、強力な性能を示した。 本稿では,自己監督型拡張による意図的ゆがみを実現するために,DCCF(Disentangled Contrasative Collaborative Filtering framework)を提案する。 我々のDCCFは、絡み合った自己超越信号からより微細な潜伏因子を蒸留できるだけでなく、増大による騒音を軽減することができる。
  論文  参考訳（メタデータ） (2023-05-04T11:53:38Z)
• PatchMix Augmentation to Identify Causal Features in Few-shot Learning [55.64873998196191]
  少ないショット学習は、十分なカテゴリをラベル付けしたデータに基づいて学習した知識を、少ない既知の情報を持つ新しいカテゴリに転送することを目的としている。 我々はPatchMixと呼ばれる新しいデータ拡張戦略を提案し、この急激な依存関係を壊すことができる。 このような拡張メカニズムが,既存のメカニズムと異なり,因果的特徴を識別可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-29T08:41:29Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。