論文の概要: Dissecting model behavior through agent trajectories

• arxiv url: http://arxiv.org/abs/2606.17454v2
• Date: Wed, 17 Jun 2026 04:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 13:57:35.216419
• Title: Dissecting model behavior through agent trajectories
• Title（参考訳）: エージェント・トラジェクトリによるモデル行動の分離
• Authors: Gaurav Gupta, Vatshank Chaturvedi, Jun Huan, Anoop Deoras,
• Abstract要約: 私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。 このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。 i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
• 参考スコア（独自算出の注目度）: 15.811597127775812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agent performance is not just a modeling problem, it is fundamentally a systems problem. The advanced capabilities of models are realized through agent harnesses. Therefore, a gap between model assumptions and harness behavior can easily prevent the model's full capabilities from translating into agent performance. We formalize this as the `intent-execution' gap: the mismatch between what the model intends and what the harness executes, and vice versa. We argue that minimizing this intent-execution gap is as important as other aspects of harness design such as tools and execution loops. To illustrate the impact of this harness-model alignment, we develop a simple and customizable harness called `Simple Strands Agent' (SSA). SSA aims to find the bulk of common patterns which generalize across different model families (such as Claude, Gemini, GPT, Grok, Qwen), as well as a small number of model-specific preferences. We make two contributions: (i) we reproduce or improve on the pass@1 performance reported by diverse model-provider families on popular agentic benchmarks (SWE-Pro, SWE-Verified and Terminal-Bench-2), and (ii) building on an analysis of 138k trajectories generated by SSA, we look beyond the pass@1 numbers which tend to be relatively even across frontier models. By representing agent trajectories in code state-spaces, we observe model-level differences in problem-solving behavior. Finer-grained metrics such as edit frequency, testing activity, and phase-transitions reveal how individual models allocate effort across different stages of autonomous problem solving.
• Abstract（参考訳）: AIエージェントのパフォーマンスは単なるモデリングの問題ではなく、基本的にシステムの問題である。 モデルの高度な能力はエージェントハーネスによって実現される。 したがって、モデル仮定とハーネス動作のギャップは、モデルの完全な能力がエージェントのパフォーマンスに変換されるのを、容易に防ぐことができる。 私たちはこれを 'intent-execution' ギャップとして形式化しています。 この意図と実行のギャップを最小化することは、ツールや実行ループといった設計の他の側面と同じくらい重要である、と私たちは主張する。 このハーネスモデルアライメントの効果を説明するため,シンプルでカスタマイズ可能なハーネス「Simple Strands Agent」(SSA)を開発した。 SSAは、さまざまなモデルファミリ(Claude、Gemini、GPT、Grok、Qwenなど)にまたがる一般的なパターンの大部分と、少数のモデル固有の好みを見つけることを目的としている。 私たちは2つの貢献をします。 (i)一般的なエージェントベンチマーク(SWE-Pro, SWE-Verified, Terminal-Bench-2)において、多種多様なモデルプロジェクタファミリーが報告したpass@1の性能を再現または改善し、また、 (II) SSAが生成した128kの軌道解析に基づいて、フロンティアモデル全体でも比較的高い傾向にあるpass@1数を超える数を求める。 エージェントトラジェクトリをコード状態空間で表現することにより、問題解決行動のモデルレベルでの違いを観察する。 編集頻度、テストアクティビティ、フェーズ移行といったより詳細なメトリクスは、個々のモデルが自律的な問題解決のさまざまな段階にわたって、どのように労力を割り当てるかを明らかにします。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging [11.2457468104475]
  タスクベクトルに基づくモデルマージは、複数のタスク固有のモデルを再トレーニングせずにマルチタスクモデルに統合する効率的な方法を提供する。 最近の研究は、モデルのマージによって直面する重要な課題の1つであるタスクベクトル間の衝突に、スパーシフィケーションを通じて対処するために努力されている。 CABS(Conflict-Aware and Balanced Sparsification)を提案する。
  論文  参考訳（メタデータ） (2025-02-26T12:38:55Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。