論文の概要: Measuring the Task Value of Precision Upgrades in Closed-Loop Agents

• arxiv url: http://arxiv.org/abs/2610.24346v1
• Date: Sat, 17 Oct 2026 00:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:10:36.344065
• Title: Measuring the Task Value of Precision Upgrades in Closed-Loop Agents
• Title（参考訳）: クローズドループエージェントにおける高精度アップグレードのタスク値の測定
• Abstract要約: 低精度エージェントは、選択された決定において、その完全精度(BF16)モデルをフォールバックとして呼び出すことができる。 しかし、挿入されたBF16アクションは、故障したタスクを救ったり、後続のタスクを損傷したりすることができる。 私たちは、フォールバックの価値は、実際に実行される介入のために測定される、それが損なうタスクの数を減らすことにある、と論じます。
• 参考スコア（独自算出の注目度）: 14.02984926155989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A low-precision agent can call its full-precision (BF16) model at selected decisions as a fallback. A learned precision router chooses where to call it from the disagreement between the two models and is judged by end-to-end success. An inserted BF16 action, however, can rescue a failing task or damage a succeeding one. We argue that a fallback's value is the number of tasks it saves minus the number it spoils, measured for the intervention that will actually run. From restored states, we run paired branches that cross which model supplies the current action with which model continues, separating replacement of one action, takeover of later execution, and both. On Qwen3 agents with simulated 4-bit weights in tau2-bench, replacing the first action where the two models differed in tool use changed many task outcomes, but rescues and damages nearly cancelled, and on held-out telecom tasks the action-only estimate was negative. Replacing both the action and the continuation had a positive net gain in two of five exploratory lower-bit stress settings. Two references changed outcomes at fixed bit width: replacing an action with that of a second 4-bit checkpoint changed about as many outcomes as replacing it with the BF16 action, and reordering tool-argument keys changed outcomes while the executed tool call stayed identical. At common states, the additional value of the BF16 action over that checkpoint remained unresolved. A frozen uncertainty trigger found more outcome changes than random selection, while its net benefit stayed within the range of random selection. We recommend evaluating each fallback by its signed task benefit under the intended continuation, against same-precision references, before attributing gains to more bits.
• Abstract（参考訳）: 低精度エージェントは、選択された決定において、その完全精度(BF16)モデルをフォールバックとして呼び出すことができる。 学習された精度ルータは、2つのモデルの相違点から呼び出す場所を選択し、エンドツーエンドの成功によって判断される。 しかし、挿入されたBF16アクションは、故障したタスクを救ったり、後続のタスクを損傷したりすることができる。 私たちは、フォールバックの価値は、実際に実行される介入のために測定される、それが損なうタスクの数を減らすことにある、と論じます。 復元された状態から、モデルをクロスするペア化されたブランチを実行し、モデルが継続する現在のアクションを提供し、1つのアクションの置き換え、後の実行の引き継ぎ、そして両方を実行します。 タウ2ベンチで4ビットの重量を模擬したQwen3エージェントでは、ツール使用で2つのモデルが異なる最初のアクションが多くのタスク結果を変えたが、救助と損傷はほぼキャンセルされ、待機中のテレコムタスクでは、アクションのみの見積は負のものだった。 5つの探索的低ビットストレス設定のうち2つは、アクションと継続の両方を置き換えた。 2つの参照は固定ビット幅で結果を変えた: アクションを第2の4ビットチェックポイントに置き換えると、BF16アクションに置き換えたのと同じくらい多くの結果が変わった。 一般的な状態では、チェックポイントに対するBF16アクションの付加価値は未解決のままであった。 凍結した不確実性トリガーはランダム選択よりも多くの結果が得られたが、その純利益はランダム選択の範囲内に留まった。 我々は、より多くのビットに利益をもたらす前に、同じ精度の参照に対して、意図した継続の下で、署名されたタスク利益によって各フォールバックを評価することを推奨する。

関連論文リスト

• TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation [0.5837881923712392]
  本稿では,判定から検査可能な診断へスコア変更を行うプロトコルであるTRACEを紹介する。 25の合成タスクの制御スイートでは、まったく同じ操作をしても、リネームツールはスクリプトされたエージェントのスコアを0.250下げる。 88の新しいタスクのフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツールのアウトプットが8つのエージェント-チェンジペアのうち7つに対して$pm$0.10以内の報酬に変化しない。
  論文  参考訳（メタデータ） (2026-10-08T10:52:26Z)
• Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model Agents [25.947103954467874]
  拡散ベースの大規模言語モデル(dLLM)は、並列デコーディングを通じて自動回帰エージェントのシーケンシャル遅延ボトルネックを壊すことを約束する。 最近の評価では、この効率はエンボディード・エージェント・コンピテンスに移行しない。 我々は、この失敗とトレーニングなしの治療法について、機械学的に説明します。
  論文  参考訳（メタデータ） (2026-09-29T20:54:04Z)
• ReplayLens: Auditing Agents' Use of Outcomes [16.745093090677475]
  エージェントがログ化された経験を再利用すると、変更した決定は記録されたスコア、アクション名、記憶中のレコードの位置を反映する。 ReplayLensは、保存された履歴の1つの関係を一度に変更し、残りのインターフェイスを固定し、その結果の判断を計測するブラックボックス監査である。
  論文  参考訳（メタデータ） (2026-09-28T02:56:32Z)
• Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
  マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。 それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。 Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
  論文  参考訳（メタデータ） (2026-09-21T17:57:20Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。