論文の概要: Self-Harness: Harnesses That Improve Themselves

• arxiv url: http://arxiv.org/abs/2606.09498v1
• Date: Mon, 08 Jun 2026 13:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.164324
• Title: Self-Harness: Harnesses That Improve Themselves
• Title（参考訳）: Self-Harness: テーマを改善するハーネス
• Authors: Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu,
• Abstract要約: Self-Harnessは、LLMベースのエージェントが、人間のエンジニアや強力な外部エージェントに頼ることなく、自身の運用ハーネスを改善する新しいパラダイムである。 我々は,最小限の初期ハーネスと多様な家系の3つの基本モデルを用いて,ターミナルベンチ2.0上の自己調和をインスタンス化する。
• 参考スコア（独自算出の注目度）: 30.839060071524433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of LLM-based agents is jointly shaped by their base models and the harnesses that mediate their interaction with the environment. Because different models exhibit distinct behaviors, effective harness design is inherently model-specific. Yet agent harnesses are still largely engineered by human experts, a paradigm that scales poorly as modern LLMs become increasingly diverse and rapidly evolving. In this paper, we introduce Self-Harness, a new paradigm in which an LLM-based agent improves its own operating harness, without relying on human engineers or stronger external agents. We operationalize Self-Harness as an iterative loop with three stages: Weakness Mining, which identifies model-specific failure patterns from execution traces; Harness Proposal, which generates diverse yet minimal harness modifications tied to these failures; and Proposal Validation, which accepts candidate edits only after regression testing. We instantiate Self-Harness on Terminal-Bench-2.0 using a minimal initial harness and three base models from diverse families: MiniMax M2.5, Qwen3.5-35B-A3B, and GLM-5. Across all three models, Self-Harness consistently improves performance, with held-out pass rates increasing from 40.5% to 61.9%, 23.8% to 38.1%, and 42.9% to 57.1%, respectively. Qualitative analyses further show that Self-Harness does not simply add generic instructions, but effectively turns model-specific weaknesses into concrete, executable harness changes. These results suggest a path toward LLM-based agents that are not merely shaped by their harnesses, but can also participate in reshaping them.
• Abstract（参考訳）: LLMをベースとしたエージェントの性能は、ベースモデルと環境との相互作用を仲介するハーネスによって共同で形成される。 異なるモデルが異なる振る舞いを示すため、効果的なハーネス設計は本質的にモデル固有のものである。 しかし、エージェントハーネスは、現代のLSMが多様化し、急速に進化するにつれて、スケールが低下するパラダイムである人間の専門家によって、いまだに大部分が設計されている。 本稿では,LLMをベースとしたエージェントが,人間技術者や強力な外部エージェントに頼らずに,自身の運用ハーネスを向上する新たなパラダイムであるSelf-Harnessを紹介する。 モデル固有の障害パターンを実行トレースから識別する弱さマイニング、これらの障害に関連するさまざまな最小限のハーネス修正を生成するハーネス提案、回帰テスト後にのみ候補編集を受け入れる提案バリデーションの3段階からなる反復ループとしてセルフハーネスを運用する。 最小限の初期ハーネスと,MiniMax M2.5,Qwen3.5-35B-A3B,GLM-5の3つのモデルを用いて,ターミナルベンチ2.0上の自己調和をインスタンス化する。 3つのモデル全体で、セルフハーネスは一貫して性能を向上し、保持率を40.5%から61.9%に、23.8%から38.1%に、42.9%から57.1%に引き上げた。 質的な分析により、Self-Harnessは単にジェネリックインストラクションを追加するのではなく、モデル固有の弱点を具体的で実行可能なハーネス変更に効果的に変換することを示している。 これらの結果は, ハーネスによって形成されるだけでなく, 再形成にも関与できるLSM系薬剤への道のりを示唆している。

関連論文リスト

• Retrospective Harness Optimization: Improving LLM Agents via Self-Preference over Trajectory Rollouts [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
  i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。 まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。 第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
  論文  参考訳（メタデータ） (2026-05-28T22:16:14Z)
• It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers [0.0]
  LLMエージェントのデプロイメントにおける一般的な仮定は、より構造化されたハーネスは信頼性を普遍的に改善する、というものである。 我々はこの仮説を,4つの能力層にまたがる6つのモデルにまたがる制御された432回の実験により検証した。 我々は6ラベルの障害分類を導入し、form_violationが有能なモデル障害を、 wrong_fileが低能力な障害を、それぞれ支配していることを示す。
  論文  参考訳（メタデータ） (2026-05-26T09:08:41Z)
• LLM-driven design of physics-constrained constitutive models: two agents are better than one [0.0]
  モデル生成のためのマルチエージェントLPM駆動型アプローチを初めて導入する。 作成エージェントがデータに合わせたモデルを提案し、インスペクタエージェントが9つの物理的制約に対して各提案を監査する。 この概念を、人工ニューラルネットワーク(CANN)で実証し、脳組織、実験ゴム、合成ゴムでベンチマークする。
  論文  参考訳（メタデータ） (2026-05-22T15:27:09Z)
• RefineRL: Advancing Competitive Programming with Self-Refinement Reinforcement Learning [63.432969627395686]
  RefineRLは、競合するプログラミング問題に対して、大規模言語モデルの自己精製能力を解き放つために設計された新しいアプローチである。 Skeptical-Agentは、CP問題の公開テストケースに対して生成されたソリューションを検証するためのローカル実行ツールを備えた反復的な自己修復エージェントである。 強化学習ソリューションは、標準RLVRデータのみを用いてLLMを自己精製にインセンティブを与える。
  論文  参考訳（メタデータ） (2026-04-01T11:54:57Z)
• Boosting LLM Reasoning via Spontaneous Self-Correction [43.4980625253775]
  数学推論を改善するためのアプローチの1つは自己補正である。 既存の自己補正アプローチは、修正を独立したポストジェネレーションとして扱う。 本研究では,LLMが単一推論パスでインターリーブされた解と検証を生成できる自己補正手法であるSPOCを提案する。
  論文  参考訳（メタデータ） (2025-06-07T21:23:00Z)
• IRepair: An Intent-Aware Approach to Repair Data-Driven Errors in Large Language Models [11.075423190298686]
  大規模言語モデル(LLM)はデータセットのバイアスに弱いことで知られており、毒性などの問題を引き起こす。 本稿では,動的スライシングに基づく意図認識型LLM修復戦略であるIRepairを紹介する。 IRepairはエラーを43.6%効率よく修復する一方で,一般性能の46%低下を招いた。
  論文  参考訳（メタデータ） (2025-02-10T22:07:02Z)
• Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization [53.93621974137829]
  自己精製(Self-Refinement)とは、モデルが自身のレスポンスを改訂し、改善された出力を生成する能力を指す。 EVOLVEは、反復的なトレーニングを通じて自己精製の進化を導き、追跡するためのフレームワークである。 固有モデル能力のより広範な自己改善を実現するために自己改善を活用する可能性を実証する。
  論文  参考訳（メタデータ） (2025-02-08T15:21:55Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。