論文の概要: Mara Chain: Rethinking Failure as a Stepping Stone for AI System Auto-Evolution
- arxiv url: http://arxiv.org/abs/2609.35855v1
- Date: Fri, 25 Sep 2026 11:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.861317
- Title: Mara Chain: Rethinking Failure as a Stepping Stone for AI System Auto-Evolution
- Title(参考訳): Mara Chain氏:AIシステムの自動進化のためのステッピングストーンとして失敗を再考する
- Abstract要約: 提案手法は, 拒否された候補者を踏み石に変えた改良手法であるマラ・チェインを紹介する。
マラ・チェインは拒否された候補者を捨てるのではなく、前回の試みで蓄積された証拠を使ってそれを繰り返し洗練する。
- 参考スコア(独自算出の注目度): 7.503165028439351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing deployed AI systems increasingly amounts to editing prompts, skills, harnesses, and code rather than model weights. Existing approaches commonly optimize these artifacts through propose-evaluate-select procedures, where candidate configurations are evaluated and only those meeting an acceptance criterion are selected. Yet our analysis shows that discarded candidates often contain information critical for subsequent optimization. Discarding them causes later proposals to revisit the same failure modes. We introduce Mara Chain, a refinement procedure that turns rejected candidates into stepping stones. Rather than discarding a rejected candidate, Mara Chain retains and iteratively refines it using evidence accumulated across preceding attempts. The procedure limits each refinement chain to a fixed depth and applies Pareto-filtered Top-N selection to bound the candidate pool. Across AppWorld skill optimization, TerminalBench 2.1 harness optimization, and MuSiQue retrieval-pipeline optimization, Mara Chain delivers greater task-performance gains with fewer rollouts. It outperforms GEPA, ACE, and SkillOpt-Lite by up to 20.5% in relative performance on AppWorld, reaching the target score with 65.5% fewer rollouts than GEPA. It improves the pass rate by 20.2 and 22.5 percentage points over AHE and Meta-Harness on TerminalBench 2.1, respectively, and improves MuSiQue test nDCG@10 and Recall@10 by 0.104 and 0.131 over a hand-written retrieval pipeline.
- Abstract(参考訳): デプロイされたAIシステムの最適化は、モデルウェイトではなく、プロンプト、スキル、ハーネス、コードの編集にますます重きを置いています。
既存のアプローチでは、候補の設定を評価し、受け入れ基準を満たすもののみを選択するプロポーザル-評価-選択手順によって、これらのアーティファクトを最適化するのが一般的である。
しかし、我々の分析では、廃棄された候補には、後続の最適化に不可欠な情報が含まれていることがしばしば示されている。
それらを明らかにすることで、後の提案では、同じ障害モードを再検討する。
提案手法は, 拒否された候補者を踏み石に変えた改良手法であるマラ・チェインを紹介する。
マラ・チェインは拒否された候補者を捨てるのではなく、前回の試みで蓄積された証拠を使ってそれを繰り返し洗練する。
この手順は、各精製鎖を一定の深さに制限し、パレートフィルタトポ-N選択を候補プールに結合させる。
AppWorldのスキル最適化、TerminalBench 2.1の最適化、MuSiQueの検索パイプ最適化など、Mara Chainはロールアウトを減らしてタスクパフォーマンスの向上を実現している。
GEPA、ACE、SkillOpt-Liteを最大20.5%上回り、GEPAよりも65.5%低いロールアウトを記録した。
パスレートをそれぞれAHEとMeta-Harnessで20.2および22.5ポイント改善し、手書きの検索パイプラインで MuSiQue test nDCG@10 と Recall@10 を 0.104 、Recall@10 を0.131 に改善する。
関連論文リスト
- Selective Regenerative Decoding: Trajectory-Level Intervention for Inference-Time Reasoning [12.065412919637525]
Selective Regenerative Decodingは、各候補がサフィックスの劣化した部分だけを捨てたり、保存したり、洗練したりするためのルートである。
SRDは、リジェクションサンプリングよりも1.28から1.36倍のサンプル効率向上を実現している。
MATH500、GPQAダイアモンド、HotpotQA、AlpacaEvalを複数生成逆モデルペアで比較すると、SRDはNの精度とほぼ少ない生成トークンで一致している。
論文 参考訳(メタデータ) (2026-08-25T10:01:56Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳(メタデータ) (2026-08-20T15:24:54Z) - Coding Agents are Strong Prompt Optimizers [7.9205333979965635]
市販の符号化エージェントが直接最適化されたプロンプトを合成可能であることを示す。
我々はこのアプローチをtextCoding-Agent Skill Distillation (CASD) と呼ぶ。
論文 参考訳(メタデータ) (2026-08-13T11:10:32Z) - HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
論文 参考訳(メタデータ) (2026-08-06T17:21:05Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳(メタデータ) (2026-07-15T16:36:04Z) - Test-Time Training for Zero-Resource Dense Retrieval Reranking [3.498051445282382]
既存のアプローチは基本的なジレンマに直面している。クロスエンコーダは、強いリランク品質を提供するが、高価な教師付きトレーニングと高いレイテンシを必要とする。
本稿では,DART(Dense Adaptive Re rank at Test-time)を提案する。
6つのBEIRベンチマークで、DARTはデータベース毎の相対的なNDCG@10ゲイン(+2.1%)を高密度検索ベースラインで達成し、クエリ毎のレイテンシは10ミリ秒以下である。
論文 参考訳(メタデータ) (2026-05-31T07:26:40Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-13T04:52:33Z) - Iterative Reasoning Preference Optimization [84.15992372132507]
生成したChain-of-Thought(CoT)候補間の嗜好を最適化するための反復的アプローチを開発する。
このスキームの繰り返し繰り返しにおける推論の改善を示す。
例えば、GSM8Kは55.6%から81.6%に大きく改善され、精度は88.7%となり、32のサンプルのうち多数が投票した。
論文 参考訳(メタデータ) (2024-04-30T17:28:05Z) - Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement [19.277560848076984]
2段階の選択戦略は、選択したクエリとオブジェクトのミスマッチによるスケールバイアスと冗長性をもたらす。
本稿では,フィルタされた識別クエリのみにトランスフォーマーを符号化する階層型サリエンスフィルタリング精細化を提案する。
提案されたSalience DETRは、課題固有の3つのデータセットに対して、+4.0% AP、+0.2% AP、+4.4% APを大幅に改善する。
論文 参考訳(メタデータ) (2024-03-24T13:01:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。