論文の概要: MaD-RSI: Model-as-Data for Recursive Self-Improvement of Agent Harnesses

• arxiv url: http://arxiv.org/abs/2610.28201v1
• Date: Tue, 20 Oct 2026 13:41:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.833934
• Title: MaD-RSI: Model-as-Data for Recursive Self-Improvement of Agent Harnesses
• Title（参考訳）: MaD-RSI:エージェント・ハーネスの再帰的自己改善のためのモデル・アズ・データ
• Abstract要約: エージェントハーネスの帰納的自己改善(RSI)は,大規模言語モデル(LLM)エージェントの能力向上に有効なアプローチとして現れている。 本稿では、モデルをデータとして扱い、ハーネスを最適化の中心に置く新しい視点を紹介する。
• 参考スコア（独自算出の注目度）: 19.521067236068646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive self-improvement (RSI) of agent harnesses has emerged as an effective approach to enhancing the capabilities of large language model (LLM) agents. By searching the harness space for a specific LLM on a given dataset, RSI can discover a harness tailored to the capabilities and behavioral characteristics of that model. However, such optimization often creates a strong coupling between the learned harness and its target LLM, limiting generalization across models and requiring substantial computational resources to adapt to new LLMs. Moreover, existing RSI methods typically optimize a harness using feedback from a single model and evaluate its generalization to other models only after training. This paradigm treats model differences primarily as a criterion for evaluating generalization rather than as valuable evidence for optimization. In this paper, we introduce a new perspective that treats models as data and places the harness at the center of optimization. Building on this perspective, we propose \textsc{MaD-RSI}, a framework that directly optimizes a shared harness across multiple heterogeneous LLMs by incorporating their diverse failure trajectories into the training process. Rather than assessing model differences only after optimization, \textsc{MaD-RSI} leverages these differences as training evidence to guide the self-improvement of a shared harness. Furthermore, we introduce a new evaluation framework with two complementary metrics designed to assess the effectiveness of harness optimization across models. Experiments across multiple datasets and LLMs demonstrate that \textsc{MaD-RSI} improves generalization over existing approaches while reducing training costs.
• Abstract（参考訳）: エージェントハーネスの帰納的自己改善(RSI)は,大規模言語モデル(LLM)エージェントの能力向上に有効なアプローチとして現れている。 与えられたデータセット上で特定のLLMのハーネス空間を探索することにより、RSIはそのモデルの能力と行動特性に合わせたハーネスを見つけることができる。 しかし、そのような最適化は学習したハーネスと目標のLLMとの間に強い結合を生じさせ、モデル間の一般化を制限し、新しいLLMに適応するためにかなりの計算資源を必要とする。 さらに、既存のRSI手法は、通常、単一のモデルからのフィードバックを用いてハーネスを最適化し、訓練後にのみ他のモデルへの一般化を評価する。 このパラダイムは、モデルの違いを最適化の貴重な証拠としてではなく、一般化を評価するための基準として扱う。 本稿では,モデルをデータとして扱い,ハーネスを最適化の中心に置く新しい視点を提案する。 この観点から,多種多様な障害軌跡をトレーニングプロセスに組み込むことで,多種多種多様 LLM 間で共有ハーネスを直接最適化するフレームワークである \textsc{MaD-RSI} を提案する。 最適化後にのみモデルの違いを評価するのではなく、共有ハーネスの自己改善を導くためのトレーニングエビデンスとして、textsc{MaD-RSI} はこれらの違いを利用する。 さらに,モデル間の最適化の有効性を評価するために,2つの相補的な指標を持つ新しい評価フレームワークを提案する。 複数のデータセットとLCMをまたいだ実験により、既存のアプローチに対する一般化を向上し、トレーニングコストを削減できることが示されている。

関連論文リスト

• Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents [37.91666123749406]
  Co-Harnessは、ポストトレーニング中にエージェントハーネスとモデルパラメータを共同で最適化するフレームワークである。 自律的なケーススタディによると、Co-Harnessはシステムのクラッシュから回復し、推論効率を改善し、人間の介入なしにアンサンブル戦略を発見することができる。
  論文  参考訳（メタデータ） (2026-07-17T02:39:57Z)
• Reciprocal Co-Training (RCT): Coupling Gradient-Based and Non-Differentiable Models via Reinforcement Learning [3.8126346464908067]
  大規模言語モデル(LLM)と古典的な機械学習手法は、予測モデリングに補完的な長所を提供する。 LLMはテキストデータに対する勾配に基づく最適化に依存しているが、Random Forests (RF) のようなモデルは微分不可能な特徴分割を採用している。 本研究では,LLMとRF分類器を併用した相互協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-24T20:21:31Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。