論文の概要: How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method
- arxiv url: http://arxiv.org/abs/2609.05274v1
- Date: Fri, 04 Sep 2026 15:30:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.104265
- Title: How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method
- Title（参考訳）: エージェント符号化における不確かさの推測法 : ドラフトモデルゲート法
- Abstract要約: ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。
我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。
SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
- 参考スコア（独自算出の注目度）: 4.37919186746582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents deployed for software engineering fail expensively: they act confidently wrong, and bad actions are recognized only after costly execution and retry. We present Speculative Uncertainty (SU), a method that recovers a predictive failure signal for a black-box agent from its output tokens alone, with no access to logits, weights, activations, or repeated sampling. Inverting speculative decoding, a small open-weight draft model scores the agent's already-generated trajectory in a single forward pass. From these speculative cross-likelihoods we extract phase-aware features by separating the reasoning and action spans, and calibrate them against a verifiable objective. SU produces a failure-likelihood score that any downstream policy, such as routing, human intervention, or extra test-time compute, can consume directly. To show the signal is actionable, we instantiate one such policy, a pre-execution veto gate, on software engineering agents Qwen3-Coder-480B and closed-source Claude 3.5 Sonnet, cutting execution error rate by 6-8 percentage points and token cost by 14-19% in deployment, transferring to out-of-distribution benchmarks without retraining, and generalizing across agent models.
- Abstract（参考訳）: ソフトウェアエンジニアリングのためにデプロイされたLLMエージェントは、高価に失敗する。
提案手法は,ブラックボックスエージェントの出力トークンのみから,ログ,ウェイト,アクティベーション,あるいは繰り返しサンプリングへのアクセスを伴わずに,ブラックボックスエージェントの予測故障信号を復元する手法である。
投機的復号を反転させる小さなオープンウェイトドラフトモデルは、エージェントが生成した軌道を単一の前方通過でスコアする。
これらの投機的相互類似性から、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。
SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
信号が動作可能であることを示すため,ソフトウェアエンジニアリングエージェントのQwen3-Coder-480BとクローズソースのClaude 3.5 Sonnet上で,このようなポリシーをインスタンス化し,実行エラー率を6～8ポイント削減し,トークンコストを14～19%削減した。
関連論文リスト
- AGENTQ: Quantization-Conditioned Backdoor Attacks on LLM Agents [3.994114606137195]
AgentQは、レイヤバンドのLoRAインジェクションと、マルチコードブックの量子化等価クラスに対する部分PGD修復を組み合わせたアタックフレームワークである。
AgentQは、良質なユーティリティの損失を最小限に抑えて、100%ポスト量子化攻撃の成功率に達する。
論文 参考訳（メタデータ） (2026-09-12T17:17:59Z) - Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。
ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。
モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
論文 参考訳（メタデータ） (2026-08-28T16:34:05Z) - FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。
FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文 参考訳（メタデータ） (2026-08-09T08:22:57Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs [0.0]
既存のアプローチは、生成後に適用される別のモデレーションモデルに依存している。
我々は、モデレーションに必要な信号が隠蔽状態のモデルにすでに存在することを観察する。
トークンレベルの軽量プローブをトレーニングし、内部アクティベーションを直接操作します。
論文 参考訳（メタデータ） (2026-06-09T07:01:43Z) - Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents [0.0]
出力トークンが出力される前に,アクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを検討する。
第3に,マルチターンフィルタを累積情報フロー問題として扱う。
その結果、クレデンシャル・エミッション・ディフェンスは、事前出力監視、カナリア検出、時間的漏洩会計を併用すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-06-02T18:53:17Z) - TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。
本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。
具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
論文 参考訳（メタデータ） (2026-05-07T10:24:27Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。
私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。
SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
論文 参考訳（メタデータ） (2026-04-07T19:19:29Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。