論文の概要: Refining Input Guardrails: Enhancing LLM-as-a-Judge Efficiency Through Chain-of-Thought Fine-Tuning and Alignment

• arxiv url: http://arxiv.org/abs/2501.13080v1
• Date: Wed, 22 Jan 2025 18:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:45.906511
• Title: Refining Input Guardrails: Enhancing LLM-as-a-Judge Efficiency Through Chain-of-Thought Fine-Tuning and Alignment
• Title（参考訳）: LLM-as-a-Judge効率向上のための入力ガードレールの補修
• Authors: Melissa Kazemi Rad, Huy Nghiem, Andy Luo, Sahil Wadhwa, Mohammad Sorower, Stephen Rawls,
• Abstract要約: 大きな言語モデル(LLM)は、会話型AI製品など、さまざまなアプリケーションで価値のある機能を示す。 悪意のあるユーザインタラクションに対する脆弱性を軽減することで、これらの製品のセキュリティと信頼性を確保することが最重要である。 入力モデレーションガードレールとして機能する異なるLDMの微調整およびCoT応答の調整の有効性について検討した。
• 参考スコア（独自算出の注目度）: 2.9775785740619254
• License:
• Abstract: Large Language Models (LLMs) have demonstrated powerful capabilities that render them valuable in different applications, including conversational AI products. It is paramount to ensure the security and reliability of these products by mitigating their vulnerabilities towards malicious user interactions, which can lead to the exposure of great risks and reputational repercussions. In this work, we present a comprehensive study on the efficacy of fine-tuning and aligning Chain-of-Thought (CoT) responses of different LLMs that serve as input moderation guardrails. We systematically explore various tuning methods by leveraging a small set of training data to adapt these models as proxy defense mechanisms to detect malicious inputs and provide a reasoning for their verdicts, thereby preventing the exploitation of conversational agents. We rigorously evaluate the efficacy and robustness of different tuning strategies to generalize across diverse adversarial and malicious query types. Our experimental results outline the potential of alignment processes tailored to a varied range of harmful input queries, even with constrained data resources. These techniques significantly enhance the safety of conversational AI systems and provide a feasible framework for deploying more secure and trustworthy AI-driven interactions.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、会話型AI製品など、さまざまなアプリケーションで価値のある機能を示す。 悪意のあるユーザインタラクションに対する脆弱性を軽減し、大きなリスクと評判の反感を露呈させることによって、これらの製品のセキュリティと信頼性を確保することが最重要である。 本研究では,入力モデレーションガードレールとして機能する異なるLLMの微調整および整合性(CoT)応答の有効性について総合的研究を行った。 我々は,少数のトレーニングデータを活用して,これらのモデルをプロキシ防御機構として適応させ,悪意のある入力を検出し,その判断の推論を提供することにより,会話エージェントの活用を防止し,様々なチューニング手法を体系的に検討する。 我々は,多様なクエリタイプと悪意のあるクエリタイプにまたがって,さまざまなチューニング戦略の有効性と堅牢性を厳格に評価する。 実験結果から,データ資源に制約がある場合でも,各種の有害な入力クエリに適合するアライメントプロセスの可能性について概説した。 これらの技術は、会話型AIシステムの安全性を大幅に向上させ、よりセキュアで信頼性の高いAI駆動インタラクションをデプロイするための実行可能なフレームワークを提供する。

関連論文リスト

• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [4.564507064383306]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents [23.960719833886984]
  M-CoDAL(M-CoDAL)は、安全クリティカルな状況下でのコミュニケーションをよりよく理解するために、実施エージェント向けに設計されたマルチモーダル対話システムである。 提案手法は,2K Reddit画像から抽出した1Kの安全違反を含む,新たに作成されたマルチモーダルデータセットを用いて評価する。 このデータセットで得られた結果は、我々のアプローチが会話の安全性だけでなく、安全状況、ユーザーの感情、および会話の安全性の解決を改善することを実証している。
  論文  参考訳（メタデータ） (2024-10-18T03:26:06Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Self-Supervised Inference of Agents in Trustless Environments [44.99833362998488]
  本稿では,エージェントがSwarmを形成し,高品質な応答を効果的に生成する手法を提案する。 これはデータ推論とランク付けが可能なエージェントを活用することで実現される。 我々のアプローチは、125ミリ秒未満の検証レイテンシに達する他の信頼できない推論戦略よりも、桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-09-12T20:32:07Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。