論文の概要: Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks
- arxiv url: http://arxiv.org/abs/2609.25299v1
- Date: Mon, 21 Sep 2026 18:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.085006
- Title: Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks
- Title（参考訳）: エージェントをより一貫性のあるものにする: スキルはタスクを繰り返すための習慣を形成するべきだ
- Abstract要約: 私たちはそれぞれ42のタスクを3回実行し、モデルによっては38%から74%の回答が一致しないことがわかった。
スキルの習慣形成を提案する。
4つの理由付けアームのうち3つは42質問の11～13回、42質問の4回目は42の4回目、習慣形成型は456通の発送で再現され、置換されたすべての腕に非劣性であった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On repeated work, agents are inconsistent. We ran 42 tasks three times each and found that, depending on the model, 38% to 74% returned answers that did not agree. Consistency is what a buyer, an auditor, or a regulator requires, and agents do not have it. They are wasteful too: 95.3% to 97.2% of what an agent generates goes to re-deriving a plan the system already knows. We propose skill habit formation. An agent mines its own execution history for candidate skills, deterministic variants that compete against the incumbent rather than replacing it. A candidate declares the region of input space it claims, so the common case runs as a script and the rest falls through to reasoning. Four gates of ascending cost admit candidates; the central one tests a candidate's execution trace against a retained reference, within a tolerance measured from that reference's own run-to-run variability. On text-to-SQL, three of four reasoning arms reproduced their own output on 11 to 13 of 42 repeated questions and the fourth on 26 of 42, while a habit-formed variant reproduced on all 456 dispatches we repeated and was non-inferior to every arm it replaced (p<0.0001). It also used 14% to 56% fewer tokens, turning net positive after 7 to 53 reuses. We measured what this costs in accuracy. The guard admitted work it should have deferred on 2.6% of natural paraphrases and 26% of inputs near its boundary, and 11 of 13 such failures were invisible to the trace-conformance gate at any threshold. Deterministic errors repeat exactly: a bad habit is as reliable as a good one, and that is the price of the property that makes the system auditable. Separating routing from parameter extraction raised end-to-end accuracy from 0.888 to 0.952 at 43% of the cost.
- Abstract（参考訳）: 繰り返し行われる作業では、エージェントは一貫性がありません。
私たちはそれぞれ42のタスクを3回実行し、モデルによっては38%から74%の回答が一致しないことがわかった。
一貫性とは、買い手、監査人、規制当局が要求するものであり、エージェントはそれを持っていない。
95.3%から97.2%のエージェントが生成し、システムが既に知っている計画を再導出する。
スキルの習慣形成を提案する。
エージェントは、その実行履歴を候補者のスキル、決定論的変種にマイニングする。
候補が主張する入力空間の領域を宣言するので、一般的なケースはスクリプトとして実行され、残りは推論に陥る。
中央の1つは、その参照のラン・トゥ・ランの可変性から測定された許容範囲内で、保持された参照に対して、候補の実行トレースをテストする。
テキスト・トゥ・SQLでは,4本の腕のうち3本が42質問の11～13回,4本目は42質問の4回にそれぞれ独自の出力を再現した。
また、トークンを14%から56%減らし、7から53の再利用後にネットを肯定的にした。
私たちはこのコストを正確に測定した。
警備隊は、自然パラフレーズの2.6%、境界付近の入力の26%で延期すべきであったことを認め、13の障害のうち11は、任意の閾値でトレースコンフォーマンスゲートに見えなかった。
決定論的エラーは、正確に繰り返す: 悪い習慣は、良い習慣と同じくらい信頼でき、それは、システムを監査可能にするプロパティの価格である。
パラメータ抽出からのルーティングの分離は、コストの43%で0.888から0.952までのエンドツーエンドの精度を高めた。
関連論文リスト
- FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents [0.0]
政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
論文 参考訳（メタデータ） (2026-09-22T11:50:35Z) - Engineering Reliable Commit Gates for Agentic AI: Cost-Aware Verification Portfolios under Common-Mode Data Failures [4.287745257410248]
コスト対応コミットゲートのランタイム保証ベンチマークを提案する。
48のタスクテンプレートは、6つの障害レジームで2,880のシナリオを生成する。
結果は明確なエビデンスライン、コストアウェアの選択、コミットタイムの実施を動機付けます。
論文 参考訳（メタデータ） (2026-09-10T01:42:40Z) - FinalityBench: An Effect-Level Benchmark for Agent Decisions Under Delayed and Conflicting Financial Finality [1.350933217151331]
FinalityBenchは、ファイナリティゲーティング決定のための実行可能なベンチマークである。
グラディングは実行された金銭的効果に基づいており、あるエピソードは商人の経済的な立場によって記録される。
権威的ファイナリティプローブ上の不可逆的なアクションをゲーティングするランタイムは85.4%に達し、全てのポーリングポリシーとは異なり、パス5には何も失われない。
論文 参考訳（メタデータ） (2026-09-04T04:24:10Z) - SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents [45.511413545635286]
SkillGateはトークンサポートを2つの非結合なクレジットチャネルに分割し、結果クレジットは実行トークンにのみ到達し、アクションローカルのアドバンテージはスキルネームトークンに正確に到達する。
16候補のスレートに基づく5つのエージェントベンチマークにおいて、SkillGateは、結果報酬のみに費やされた同じ予算よりもはるかに早く、40.8%から53.2%の試験的な成功に9Bポリシーを引き上げている。
論文 参考訳（メタデータ） (2026-08-19T12:24:03Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。
GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
論文 参考訳（メタデータ） (2026-05-27T18:59:18Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。
一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。
この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2026-02-12T06:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。