論文の概要: Class-RAG: Content Moderation with Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2410.14881v1
• Date: Fri, 18 Oct 2024 22:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:30.479646
• Title: Class-RAG: Content Moderation with Retrieval Augmented Generation
• Title（参考訳）: Class-RAG:Retrieval Augmented Generationによるコンテンツモデレーション
• Authors: Jianfa Chen, Emily Shen, Trupti Bavalatti, Xiaowen Lin, Yongkai Wang, Shuming Hu, Harihar Subramanyam, Ksheeraj Sai Vepuri, Ming Jiang, Ji Qi, Li Chen, Nan Jiang, Ankit Jain,
• Abstract要約: 検索拡張生成(Class-RAG)を用いた分類手法を提案する。 従来の微調整モデルと比較して、クラスRAGは意思決定の柔軟性と透明性を示している。 以上の結果から,検索ライブラリのサイズによってクラスRAG性能が向上することが示唆され,ライブラリサイズの増加はコンテンツモデレーションを改善するための実用的で低コストなアプローチであることが示唆された。
• 参考スコア（独自算出の注目度）: 15.298017013140385
• License:
• Abstract: Robust content moderation classifiers are essential for the safety of Generative AI systems. Content moderation, or safety classification, is notoriously ambiguous: differences between safe and unsafe inputs are often extremely subtle, making it difficult for classifiers (and indeed, even humans) to properly distinguish violating vs. benign samples without further context or explanation. Furthermore, as these technologies are deployed across various applications and audiences, scaling risk discovery and mitigation through continuous model fine-tuning becomes increasingly challenging and costly. To address these challenges, we propose a Classification approach employing Retrieval-Augmented Generation (Class-RAG). Class-RAG extends the capability of its base LLM through access to a retrieval library which can be dynamically updated to enable semantic hotfixing for immediate, flexible risk mitigation. Compared to traditional fine-tuned models, Class-RAG demonstrates flexibility and transparency in decision-making. As evidenced by empirical studies, Class-RAG outperforms on classification and is more robust against adversarial attack. Besides, our findings suggest that Class-RAG performance scales with retrieval library size, indicating that increasing the library size is a viable and low-cost approach to improve content moderation.
• Abstract（参考訳）: ロバストコンテンツモデレーション分類器は、生成AIシステムの安全性に不可欠である。 安全な入力と安全でない入力の違いは、しばしば非常に微妙であり、分類器(そして人間でさえも)が、さらなる文脈や説明なしに、違反するサンプルと良心的なサンプルを適切に区別することは困難である。 さらに、これらのテクノロジがさまざまなアプリケーションやオーディエンスに展開されるにつれて、継続的モデルの微調整によるリスク発見と緩和のスケーリングはますます難しくなり、コストがかかります。 これらの課題に対処するために,検索型拡張生成(Class-RAG)を用いた分類手法を提案する。 Class-RAGは検索ライブラリへのアクセスを通じてベースLLMの機能を拡張し、動的に更新することで、即時かつ柔軟なリスク軽減のためのセマンティックホットフィックスを可能にする。 従来の微調整モデルと比較して、クラスRAGは意思決定の柔軟性と透明性を示している。 経験的研究によって証明されているように、クラスRAGは分類において優れ、敵の攻撃に対してより堅牢である。 また,検索ライブラリのサイズに応じてクラスRAG性能が向上することが示唆され,ライブラリサイズの増加はコンテンツモデレーションを改善するための実用的で低コストなアプローチであることが示唆された。

関連論文リスト

• Resilience to the Flowing Unknown: an Open Set Recognition Framework for Data Streams [6.7236795813629]
  本研究では、分類とクラスタリングを組み合わせて、ストリーミングシナリオにおけるテキストオーバ占有空間問題に対処するオープンセット認識フレームワークの適用について検討する。
  論文  参考訳（メタデータ） (2024-10-31T11:06:54Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations [29.32704733570445]
  我々は人間とAIの会話のユースケースを対象とした入出力保護モデルであるLlama Guardを紹介した。 ラマガードは、特定の安全リスクを分類する貴重なツールである安全リスク分類を取り入れている。 Llama Guardは、OpenAIモデレーション評価データセットやToxicChatなど、既存のベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-07T19:40:50Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Disentangled Contrastive Collaborative Filtering [36.400303346450514]
  グラフコントラスト学習(GCL)は、監督ラベル不足問題に対処する上で、強力な性能を示した。 本稿では,自己監督型拡張による意図的ゆがみを実現するために,DCCF(Disentangled Contrasative Collaborative Filtering framework)を提案する。 我々のDCCFは、絡み合った自己超越信号からより微細な潜伏因子を蒸留できるだけでなく、増大による騒音を軽減することができる。
  論文  参考訳（メタデータ） (2023-05-04T11:53:38Z)
• PatchMix Augmentation to Identify Causal Features in Few-shot Learning [55.64873998196191]
  少ないショット学習は、十分なカテゴリをラベル付けしたデータに基づいて学習した知識を、少ない既知の情報を持つ新しいカテゴリに転送することを目的としている。 我々はPatchMixと呼ばれる新しいデータ拡張戦略を提案し、この急激な依存関係を壊すことができる。 このような拡張メカニズムが,既存のメカニズムと異なり,因果的特徴を識別可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-29T08:41:29Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。