Fugu-MT 論文翻訳(概要): Agent Safety Alignment via Reinforcement Learning

論文の概要: Agent Safety Alignment via Reinforcement Learning

arxiv url: http://arxiv.org/abs/2507.08270v1
Date: Fri, 11 Jul 2025 02:34:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 18:03:54.228638
Title: Agent Safety Alignment via Reinforcement Learning
Title（参考訳）: 強化学習によるエージェントセーフティアライメント
Authors: Zeyang Sha, Hanling Tian, Zhuoer Xu, Shiwen Cui, Changhua Meng, Weiqiang Wang,
Abstract要約: ツール・ユース・エージェントのための一貫した安全アライメント・フレームワークを提案する。我々は、良識、悪意があり、ユーザープロンプトとツール応答の両方に敏感な三段階分類を導入する。その結果,安全性と有効性は共同で最適化できることが示唆された。
参考スコア（独自算出の注目度）: 29.759393704688986
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The emergence of autonomous Large Language Model (LLM) agents capable of tool usage has introduced new safety risks that go beyond traditional conversational misuse. These agents, empowered to execute external functions, are vulnerable to both user-initiated threats (e.g., adversarial prompts) and tool-initiated threats (e.g., malicious outputs from compromised tools). In this paper, we propose the first unified safety-alignment framework for tool-using agents, enabling models to handle both channels of threat via structured reasoning and sandboxed reinforcement learning. We introduce a tri-modal taxonomy, including benign, malicious, and sensitive for both user prompts and tool responses, and define a policy-driven decision model. Our framework employs a custom-designed sandbox environment that simulates real-world tool execution and allows fine-grained reward shaping. Through extensive evaluations on public and self-built benchmarks, including Agent SafetyBench, InjecAgent, and BFCL, we demonstrate that our safety-aligned agents significantly improve resistance to security threats while preserving strong utility on benign tasks. Our results show that safety and effectiveness can be jointly optimized, laying the groundwork for trustworthy deployment of autonomous LLM agents.
Abstract（参考訳）: ツール使用が可能な自律型大規模言語モデル(LLM)エージェントの出現は、従来の会話誤用以上の新たな安全性リスクをもたらしている。これらのエージェントは、外部機能を実行する権限があり、ユーザ主導の脅威(例えば、敵のプロンプト)とツール開始の脅威(例えば、妥協されたツールからの悪意のあるアウトプット)の両方に対して脆弱である。本稿では,ツール・ユース・エージェントのための一貫した安全アライメント・フレームワークを提案し,構造化推論とサンドボックス強化学習による脅威のチャネルの両処理を可能にする。我々は、ユーザプロンプトとツール応答の両方に対して、良心、悪意、敏感な3つの分類法を導入し、ポリシー駆動型決定モデルを定義した。我々のフレームワークは、現実世界のツールの実行をシミュレートし、きめ細かい報酬形成を可能にするカスタムデザインのサンドボックス環境を採用している。エージェントセーフティベンチ、InjecAgent、BFCLなど、公開および自己構築型ベンチマークに関する広範な評価を通じて、当社の安全対応エージェントがセキュリティ脅威に対する抵抗を著しく改善し、良質なタスクに対する強力なユーティリティを保っていることを実証する。その結果, 安全性と有効性は共同で最適化できることが示され, 自律型LLMエージェントの信頼性向上の基礎となった。

関連論文リスト

Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
AIシステムの進化自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
論文参考訳（メタデータ） (2025-07-23T13:51:28Z)
OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文参考訳（メタデータ） (2025-07-08T16:18:54Z)
Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
論文参考訳（メタデータ） (2025-06-20T23:37:17Z)
Design Patterns for Securing LLM Agents against Prompt Injections [26.519964636138585]
インジェクション攻撃は自然言語入力に対するエージェントの弾力性を利用してる本稿では,AIエージェントのインジェクションに対する抵抗性を証明可能な設計パターンのセットを提案する。
論文参考訳（メタデータ） (2025-06-10T14:23:55Z)
LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文参考訳（メタデータ） (2025-05-29T21:39:08Z)
Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文参考訳（メタデータ） (2025-05-23T10:56:06Z)
AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文参考訳（メタデータ） (2025-05-09T07:40:17Z)
SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [50.463399903987245]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
論文参考訳（メタデータ） (2025-02-03T04:23:33Z)
Athena: Safe Autonomous Agents with Verbal Contrastive Learning [3.102303947219617]
大規模言語モデル(LLM)は、様々なタスクを実行するために言語ベースのエージェントとして利用されてきた。本研究では,言語コントラスト学習の概念を活用したアテナフレームワークを提案する。このフレームワークには、エージェントを誘導するクオリティ機構も組み込まれており、各ステップにおけるリスクのあるアクションを防ぐ。
論文参考訳（メタデータ） (2024-08-20T17:21:10Z)
On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
論文参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。