論文の概要: NAQD Env: A benchmark for selective withdrawal in language agents
- arxiv url: http://arxiv.org/abs/2609.38460v1
- Date: Tue, 29 Sep 2026 19:48:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.692894
- Title: NAQD Env: A benchmark for selective withdrawal in language agents
- Title（参考訳）: NAQD Env: 言語エージェントの選択的離脱のためのベンチマーク
- Abstract要約: 言語エージェントは、エビデンスの変更、許可の取り消し、または停止命令が到着した場合、計画されたアクションを修正する必要がある。
有効な応答は選択的で、影響を受けるアクションを中断し、影響のない作業を保持し、十分な修復後にのみ再開する。
本稿では,これらの決定を決定論的参照ポリシーに対して評価する合成環境であるNAQD-Envを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language agents must revise planned actions when evidence changes, permission is revoked, or a stop instruction arrives. A useful response is selective: suspend affected actions, preserve unaffected work, and resume only after sufficient repair. We introduce NAQD-Env, a synthetic environment that evaluates these decisions against a deterministic reference policy over explicit evidence, authorization, and constraint dependencies. Eleven dependency families support evaluation on development structures, held-out families, and held-out combinations of structures. Metrics distinguish attempted violations from violations permitted by a simulated execution gate and jointly report policy agreement, task value, withdrawal, resumption, and event reporting. We evaluate three open-weight instruction-tuned models from two families under three prompt conditions on 350 frozen scenarios, yielding 3,150 model-prompt episodes before gate replay. Across the reported conditions, withdrawal recall is at most 0.06, no valid resumption is observed at eligible opportunities, and only one episode matches the complete reference policy. Under the NAQD prompt, Qwen2.5-7B has fewer unsafe-attempt episodes than Qwen2.5-3B and Llama-3.1-8B, but also completes less useful work and preserves unaffected actions less accurately. Exploratory supervised fine-tuning probes increase Qwen2.5-3B decision accuracy from 0.45-0.54 to 0.83-0.92; separate diagnostics reveal inappropriate withdrawal after curriculum omissions and a loss of event reporting. These results motivate evaluating selective withdrawal as a distinct component of agent reliability. The setting measures policy application with trusted structured inputs and does not establish real-world containment or source-verification ability.
- Abstract（参考訳）: 言語エージェントは、エビデンスの変更、許可の取り消し、または停止命令が到着した場合、計画されたアクションを修正する必要がある。
有効な応答は選択的で、影響を受けるアクションを中断し、影響のない作業を保持し、十分な修復後にのみ再開する。
NAQD-Envは、明示的な証拠、認可、制約依存関係に対する決定論的参照ポリシーに対してこれらの決定を評価する合成環境である。
11の依存家族は、開発構造、保留家族、保留組立に関する評価をサポートする。
メトリクスは、シミュレートされた実行ゲートによって許される違反と、ポリシー合意、タスク値、離脱、再使用、イベントレポートを共同で報告する試みとを区別する。
350の凍結シナリオに対して3つの条件下で2つのファミリーから3つのオープン・ウェイト・トレーニング・モデルを評価し,ゲート再生前に3150のモデル・プロンプト・エピソードを生成させた。
報告された条件全体では、リコールは少なくとも0.06であり、適切な機会に有効なリトライは見られず、完全な参照ポリシーに適合するエピソードは1つだけである。
NAQDのプロンプトの下では、Qwen2.5-7BはQwen2.5-3BやLlama-3.1-8Bよりも安全でないエピソードが少ないが、あまり役に立たない作業も完了し、影響のない動作をより正確に保存する。
調査監督型微調整プローブはQwen2.5-3Bの判定精度を0.45-0.54から0.83-0.92に向上させた。
これらの結果は、選択的離脱をエージェント信頼性の明確な構成要素として評価する動機となっている。
この設定は、信頼された構造化された入力によるポリシー適用を計測し、現実世界の封じ込めや情報源の検証能力を確立しない。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment [34.734205045972345]
安全チューニングパイプラインは最終回答のみを判断します。
AUDITPLANを提案する。
我々は、教師付き微調整と強化学習により、この行動を訓練する。
論文 参考訳（メタデータ） (2026-09-16T18:45:24Z) - Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。
CAC(Cognitive Admission Control)は、この証拠を明示する。
ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。
承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
論文 参考訳（メタデータ） (2026-09-14T20:20:54Z) - From Experiments to Decisions: Reusing Evidence in Autonomous Coding Research [0.0]
我々は400タスクのNeuroGolfキャンペーンでエビデンスをどのように再利用するかを再構築する。
数値的な反例は、オーバーブロード排除を公開する。
他のエピソードでは、失敗、不完全、そして修正されたプログラムが次に行うことを正当化する。
論文 参考訳（メタデータ） (2026-09-10T03:48:31Z) - Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。
隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。
以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
論文 参考訳（メタデータ） (2026-08-31T16:43:55Z) - Calibrating Criterion Revision in LLM Agents: Failure Modes and a Trace-Anchored Protocol [3.202978695204522]
言語モデルエージェントは、失敗後に改善したり、成功と見なすものを再検討することなく、エピソード間でテキストを運ぶことができる。
CMB-0.1を12例,腕4例で検討した。
モデルトライアルが5つの条件すべてを満たすことはないが、このゼロは一般能力の欠如を証明していない。
論文 参考訳（メタデータ） (2026-08-21T04:21:28Z) - One Gate Is Not Enough: Composing Stateful Pre-Action Controls for Agentic AI [0.0]
1つのコントロールが適用した修復は、他のコントロールが評価するアクション、エビデンス、コンテキストを変更し、そのコントロールの以前の判断を無効にすることができることを示す。
我々は、この結合を形式化し、現在の有界等質な設定において、アクションごとの音質を復元するremediate-and-regateプロトコルを提供する。
これは、生産の頻度に関する主張ではなく、合成メタデータ層によるオープンペイロードデータに対するメカニズム実証である。
論文 参考訳（メタデータ） (2026-08-18T22:24:44Z) - Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。
マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
論文 参考訳（メタデータ） (2026-08-05T10:59:53Z) - EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents [28.95182429824442]
我々はエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。
検索アクションや黄金の回答のための特権情報として、インスタンスレベルのサポートエビデンスを使用している。
EviSDは、評価されたすべての設定において、マクロ平均のExact Matchを最高に達成する。
論文 参考訳（メタデータ） (2026-08-02T16:22:27Z) - Geometry-Calibrated Conformal Abstention for Language Models [25.731621771885887]
無知を認めるためにモデルをトレーニングすることは、過度に保守的な行動を引き起こす可能性がある。
本稿では,コンフォメーション予測(CP)を応用したポストホックフレームワークであるConformal Abstention (CA)を提案する。
論文 参考訳（メタデータ） (2026-04-30T14:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。