論文の概要: AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories

• arxiv url: http://arxiv.org/abs/2609.06783v1
• Date: Sun, 06 Sep 2026 18:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.304665
• Title: AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories
• Title（参考訳）: AURA-Eval:LLMエージェント軌道におけるリスク認識行動評価フレームワーク
• Abstract要約: ツール・ユース・トラジェクトリにおける制御強化と行動のきめ細かい診断を組み合わせたフレームワークであるAURA-Evalを紹介する。 157個のトラジェクトリを用いて1,249個の評価項目を生成し,20個のフロンティアモデルとオープンウェイトモデルを評価する。 以上の結果から, LLM エージェントは安全経路が存在しない場合, より安全でない行動に陥ることが示唆された。
• 参考スコア（独自算出の注目度）: 12.694014584212695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents operate in workflows where unsafe actions can have real consequences. Existing safety evaluations often reduce behavior to a single score, obscuring risk recognition, pre-action detection, and safe task completion when a safe solution exists. We introduce AURA-Eval, a framework combining controlled augmentation with granular diagnosis of behavior in tool-use trajectories. Its pipeline identifies safety-critical decision points, generates controlled variations, and constructs counterparts differing in whether a request has a safe fulfillment path. Using 157 sourced trajectories, we generate 1,249 evaluation items and evaluate 20 frontier and open-weight models. We developed rubrics to classify risk detection, action strategy, and scenario-specific action safety. Our results show that LLM agents engage in unsafe behavior more often when no safe fulfillment path exists. In these cases, frontier proprietary models more often recognize risk and exhibit safer behavior by proposing alternatives, while evaluated open-weight models more often directly execute unsafe requests. Increasing impact or reducing opportunities for oversight before execution also exposes greater vulnerability across models.
• Abstract（参考訳）: LLMエージェントは、安全でないアクションが本当の結果をもたらすワークフローで動作する。 既存の安全性評価は、単一のスコアへの振舞いを減らし、リスク認識を隠蔽し、プレアクション検出し、安全なソリューションが存在する場合の安全なタスク完了を可能にする。 ツール・ユース・トラジェクトリにおける制御強化と行動のきめ細かい診断を組み合わせたフレームワークであるAURA-Evalを紹介する。 そのパイプラインは、安全クリティカルな決定ポイントを特定し、制御されたバリエーションを生成し、リクエストが安全なフルフィルメントパスを持っているかどうかが異なるように構成する。 157個のトラジェクトリを用いて1,249個の評価項目を生成し,20個のフロンティアモデルとオープンウェイトモデルを評価する。 リスク検出,アクション戦略,シナリオ固有のアクション安全性を分類するルーリックを開発した。 以上の結果から, LLM エージェントは安全充足経路が存在しない場合, より安全でない行動に陥ることが示唆された。 このような場合、フロンティアのプロプライエタリモデルはリスクを認識し、代替案を提案することによってより安全な行動を示すことが多いが、オープンウェイトモデルの評価は安全でない要求を直接実行することが多い。 実行前に影響を増やしたり、監視する機会を減らしたりすることで、モデル全体の脆弱性も増大する。

関連論文リスト

• Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification [32.337075755765056]
  Veraは、非決定論的エージェントのためのソフトウェアエンジニアリングテストの原則をインスタンス化するエンドツーエンドの自動安全テストフレームワークである。 124のリスクカテゴリにまたがる1600の実行可能な安全ケースで構成されたVeraをリリースします。 これらの結果から,高度に進化するエージェントシステムの厳密かつ保守可能な安全性評価には,モジュール型で実行可能なテストインフラストラクチャが不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-02T07:08:26Z)
• TRACES: Proactive Safety Auditing for Multi-Turn LLM Agents via Trajectory-State Modeling [18.58206519209223]
  LLMエージェントは、マルチターンツールの使用と環境相互作用によってますます運用される。 ホック後の診断は、しばしば、展開中にリスクをフラグする機会を逃す。 表現に基づくプロアクティブオーディエンスであるTRACESを提案する。
  論文  参考訳（メタデータ） (2026-05-26T21:11:02Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
  ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。 ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
  論文  参考訳（メタデータ） (2026-05-05T00:21:00Z)
• HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
  本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。 安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。 本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
  論文  参考訳（メタデータ） (2026-04-14T08:32:02Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• LM Agents May Fail to Act on Their Own Risk Knowledge [15.60032437959883]
  言語モデル(LM)エージェントは、安全クリティカルなシナリオにおいて、様々な潜在的な、深刻なリスクをもたらす。 Sudo rm -rf /*' が危険なのか?」といった質問に対して "Yes" と答えることが多いが、インスタンス化された軌跡におけるそのようなリスクを特定できない可能性が高い。
  論文  参考訳（メタデータ） (2025-08-19T02:46:08Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning [0.0]
  本稿では,RLの安全性を高めるために,異常状態列を利用した安全強化学習(RL)手法を提案する。 自動運転車を含む複数の安全クリティカルな環境の実験において、我々のソリューションアプローチはより安全なポリシーをうまく学習する。
  論文  参考訳（メタデータ） (2024-07-29T10:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。