論文の概要: Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.34654v1
- Date: Mon, 26 Oct 2026 00:35:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.656454
- Title: Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents
- Title（参考訳）: テスト時間での思考はLLM剤のシコファン化を減少させる
- Abstract要約: シンキング・イン・ベッツ(Thinking-in-Bets)とは、エージェントがメインクレームの短いプライベートな記録を書き込む、トレーニング不要の方法である。
問題が発生した場合、エージェントはこのクレームチェックリストを参照して、検証作業はそのまま維持する。
- 参考スコア（独自算出の注目度）: 9.127884945730019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language model agents often abandon correct work when a user challenges it, yet simply telling them to stand firm makes them ignore real mistakes. Once an agent reads a complaint, it tends to discount its own earlier checks in order to agree with the user. We introduce Thinking-in-Bets, a training-free method in which an agent writes a short private record of its main claims, the checks supporting them, and its confidence before reading user feedback. When challenged, the agent consults this Claim Checklist to keep verified work intact while investigating uncertain or newly challenged parts. We evaluate five Gemini models (3.5 Flash-Lite, 3.5 Flash, 3.6 Flash, 3.8 Flash, and 4.0 Argon) across eight benchmarks: SWE-Together, SWE-Interact, and DeepSWE for software engineering, Agents' Last Exam for professional reports, Humanity's Last Exam and SycEval for academic reasoning, Vals Finance for financial analysis, and Terminal-Bench for command-line tasks. Recording claims before criticism nearly eliminates false reversals in patch review and protects passing report drafts under mistaken pushback, whereas writing the same record after reading the complaint recovers very little of the gain. In multi-turn coding, pre-reply claim records substantially reduce unnecessary file edits after mistaken complaints, and gating the record so it is written only when the agent is uncertain lowers token overhead while fixing more real bugs than the baseline. Even in non-interactive tasks without user feedback, listing the key claims in a draft and re-checking the weakest one before submission improves both answer accuracy and confidence estimates across all tested models.
- Abstract（参考訳）: 言語モデルエージェントは、ユーザがそれに取り組むとき、正しい仕事を放棄することが多いが、しっかりと立つように指示するだけで、本当の間違いを無視する。
エージェントが苦情を読み取ると、ユーザーと同意するために、自分自身の早期チェックを割引する傾向がある。
エージェントがメインクレームの短いプライベートな記録、それらをサポートする小切手、ユーザフィードバックを読む前にその信頼を書ける訓練不要の方法であるThinking-in-Betsを紹介した。
問題が発生した場合、エージェントはこのクレームチェックリストに相談し、不確実または新しい問題のある部分を調査しながら、検証作業の継続を指示する。
我々は、ソフトウェアエンジニアリングのためのSWE-Together、SWE-Interact、DeepSWE、プロフェッショナルなレポートのためのAgens's Last Exam、学術的推論のためのHumanity's Last Exam、SycEval、財務分析のためのVals Finance、コマンドラインタスクのためのTerminal-Benchの5つのベンチマーク(3.5 Flash-Lite、3.5 Flash、3.6 Flash、3.8 Flash、4.0 Argon)で、5つのGeminiモデル(SWE-Together、SWE-Interact、DeepSWE)を評価した。
批判の前にクレームを記録することは、パッチレビューにおける誤った逆転をほとんど排除し、誤ったプッシュバックの下でレポートのドラフトをパスすることを保護します。
マルチターン符号化において、プレリプライクレームレコードは、苦情を誤った後に不要なファイル編集を著しく低減し、エージェントが不確実な場合にのみ、トークンのオーバーヘッドを低減し、ベースラインよりも実際のバグを修正できるように記録をゲーティングする。
ユーザからのフィードバックのない非インタラクティブなタスクであっても、ドラフトのキークレームをリストアップし、提出前に最も弱いクレームを再チェックすることで、テスト対象モデル全体の回答精度と信頼度の両方が改善される。
関連論文リスト
- AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳（メタデータ） (2026-10-23T19:46:55Z) - When Can You Trust an Agent's Own Verifier? Stress-Testing Counterfactual Rationale Verification Under Search Pressure and Oracle Access [2.548904650574671]
エージェントがそれに対して最適化したら、検証者が信頼性を保つかどうかを問う。
私たちの貢献は新しい検証ではなく、ストレステストの方法です。
テストはRationale Consistency Score(RCS)という独自の検証装置に適用する。
我々は報告基準を提案し、検証を$$で監査し、これらのプローブを信頼する前に検証する。
論文 参考訳（メタデータ） (2026-10-16T00:41:30Z) - Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR [0.0]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するための主要なレシピとなっている。
この研究は、これらの検証エラーを測定し、分析し、軽減する58の研究を調査する。
我々は、検証者がどのようなエラーを犯すか、それがトレーニングにどう影響するか、どのエラーに対してどの軽減策が機能するか、そして結果が自己生成、ルーリック、および判断に基づく、検証不要な報酬にどのように拡張するかを問う。
論文 参考訳（メタデータ） (2026-10-13T06:44:33Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - ExecuCritic: Calibrated Critic Shaping for Code Generation with Verifiable Rewards [2.724374986592201]
実行フィードバックは、単体テストが客観的であり、プログラムの正確性を直接測定するため、コードモデルにとって有用な監視信号である。
コーダと評論家が同じ実行ロールアウトで更新される共同トレーニングフレームワークであるExecuCriticを提案する。
論文 参考訳（メタデータ） (2026-09-15T03:58:21Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision [31.91310124834185]
Deep Research Agents (DRAs) の既存のベンチマークでは、レポート生成を単一ショットの書き込みタスクとして扱う。
我々は,DRAの新たな評価軸として,マルチターンレポートリビジョンを確立する評価スイートであるMr Dreを紹介する。
論文 参考訳（メタデータ） (2026-01-19T16:48:45Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。