論文の概要: MemoHarness: Agent Harnesses That Learn from Experience

• arxiv url: http://arxiv.org/abs/2607.14159v1
• Date: Tue, 14 Jul 2026 21:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.845028
• Title: MemoHarness: Agent Harnesses That Learn from Experience
• Title（参考訳）: MemoHarness: 経験から学ぶエージェントのハーネス
• Abstract要約: 私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。 MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、ケースごとの診断と蒸留されたグローバルパターンを二重層体験バンクに格納する。 MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。
• 参考スコア（独自算出の注目度）: 46.167787606315585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An agent harness is the external control layer that turns a base LLM into an executable agent by managing context, tools, orchestration, memory, decoding, and output handling. While harness design strongly affects agent behavior, most automatic improvement methods optimize narrower artifacts such as prompts, pipelines, or workflows, and deployed agents usually reuse a single global harness for all cases. We introduce MemoHarness, an adaptive harness optimization framework that learns from its own executions. MemoHarness decomposes the harness into six editable control dimensions, stores per-case diagnoses and distilled global patterns in a dual-layer experience bank, and adapts the learned harness to each test case using retrieved experience without test-time labels, feedback, or additional search. In our evaluation across shell-agent, code-generation, and analytical-reasoning benchmarks, MemoHarness improves over the fixed harnesses we compare against and shows selective transfer to unseen suites and base models. Its additional context can also remain cost-competitive when much of the retrieved experience is cacheable. These results provide evidence that execution experience is a practical substrate for building agent harnesses that are more adaptive than a single static configuration, while leaving broader claims about statistical robustness and component attribution to future work.
• Abstract（参考訳）: エージェントハーネスは、コンテキスト、ツール、オーケストレーション、メモリ、デコード、出力処理を管理することで、ベースLSMを実行可能なエージェントに変換する外部制御層である。 ハーネス設計はエージェントの振る舞いに強く影響するが、ほとんどの自動改善手法はプロンプトやパイプライン、ワークフローといったより狭いアーティファクトを最適化し、デプロイされたエージェントは通常、すべてのケースで単一のグローバルハーネスを再利用する。 私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。 MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、二重層体験バンクにケースごとの診断と蒸留されたグローバルパターンを格納し、テストタイムラベルやフィードバック、追加検索なしで検索されたエクスペリエンスを使用して、各テストケースに学習されたハーネスを適応させる。 MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。 その追加のコンテキストは、検索されたエクスペリエンスの多くがキャッシュ可能であれば、コスト競争力を維持することもできる。 これらの結果は,1つの静的構成よりも適応性の高いエージェントハーネスを構築する上で,実行経験が実用的な基盤であることを示すとともに,統計的ロバスト性やコンポーネントの属性に関する幅広い主張を残している。

関連論文リスト

• HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
  評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。 Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。 Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
  論文  参考訳（メタデータ） (2026-09-01T15:45:33Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
  既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。 私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
  論文  参考訳（メタデータ） (2026-08-27T16:12:23Z)
• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
  高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。 信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。 実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
  論文  参考訳（メタデータ） (2026-08-06T17:21:05Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning [0.05371337604556311]
  大規模言語モデル(LLM)エージェントは通常、プロンプト、キャリブレーションされたモデル、手書きで改善される。 LLMエグゼキュータが凍結状態にある間、軽量コントローラが構造実行動作を選択する有限水平ハーネスMDPとしてハーネス演算を形式化する。
  論文  参考訳（メタデータ） (2026-07-05T22:11:18Z)
• From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
  本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。 HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。 障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
  論文  参考訳（メタデータ） (2026-06-04T15:58:30Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
  本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。 ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。 5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
  論文  参考訳（メタデータ） (2026-05-27T03:47:35Z)
• HARBOR: Automated Harness Optimization [2.7324157162184157]
  我々は、ハーネス設計が第一級の機械学習問題であると主張している。 本稿では,ブロック付加型SAASサロゲート,多要素コスト認識獲得,TuRBOトラスト領域から構築した参照解決器HARBORを提案する。
  論文  参考訳（メタデータ） (2026-04-22T13:45:12Z)
• How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior [65.70584076918679]
  メモリは、大きな言語モデル(LLM)ベースのエージェントにおいて重要なコンポーネントである。 本稿では,メモリ管理の選択がLLMエージェントの行動,特に長期的パフォーマンスに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-21T22:35:01Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。