論文の概要: More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses
- arxiv url: http://arxiv.org/abs/2609.35873v1
- Date: Sat, 26 Sep 2026 18:16:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.872093
- Title: More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses
- Title（参考訳）: プログラム数が増えるか, ロール数が増えるか : LLMハーネスの特殊化からカバーを分離する
- Abstract要約: LLMはタスクの特殊化を通じて推論を改善することを約束するが、同じプログラムの繰り返し実行によって追加の回答カバレッジが生じる可能性がある。
質問に対する回答のカバレッジ、繰り返し可能なタスクの利点、および事前実行選択から得られる利益を分離する制御された評価を導入する。
- 参考スコア（独自算出の注目度）: 25.521466962715575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated generation of LLM harnesses promises to improve inference through task specialization. Yet additional answer coverage can arise from repeated execution of the same program, making specialization difficult to identify. We introduce a controlled evaluation that separates answer coverage, repeatable task advantages, and gains from pre-execution selection. On 386 MATH-500 tasks, we compare eight generated harnesses plus a baseline with nine byte-identical baseline copies, using three executions per member. Identical programs yield 2.16 percentage points of repeat-averaged oracle headroom. Generated programs exhibit substantially more repeatable score patterns, but these chiefly reveal persistent weaknesses: losses relative to the baseline persist across all three repeats on 100 tasks, while persistent wins occur on only one task and are sensitive to answer extraction. The frozen selector gains 0.00 percentage points, and both populations reach 98.70% oracle coverage at 27 harness executions. Stable complementarity remains unresolved at three repeats. Supporting BIRD traces locate failures in mechanism implementation, activation, and output validity. Together, these findings establish why coverage and repeatability alone cannot justify claims of useful specialization. They motivate an evaluation standard for harness diversity: task advantages should persist across executions, guide usable decisions, and improve on additional fixed-program executions under matched inference budgets.
- Abstract（参考訳）: LLMハーネスの自動生成はタスクの特殊化を通じて推論を改善することを約束する。
さらに、同じプログラムの繰り返し実行によって追加の回答カバレッジが発生するため、特定が困難になる。
質問に対する回答のカバレッジ、繰り返し可能なタスクの利点、および事前実行選択から得られる利益を分離する制御された評価を導入する。
386 MATH-500タスクでは、8つの生成されたハーネスと1つのベースラインと9つのバイト単位のベースラインコピーを比較し、メンバ毎に3つの実行を実行する。
Identical program yield 2.16 percent points of repeat-averaged oracle headroom。
生成プログラムは、大幅に繰り返し可能なスコアパターンを示すが、これらは主に永続的な弱点を明らかにしている: ベースラインに対する損失は、100のタスクで3つの繰り返しにまたがって持続し、一方、持続的な勝利は1つのタスクでのみ発生し、答えの抽出に敏感である。
凍ったセレクターは0.00ポイントを獲得し、両人口は27回のハーネスで98.70%のオラクルをカバーしている。
安定的な相補性は3回の繰り返しで未解決のままである。
BIRDトレースのサポートは、機構の実装、アクティベーション、出力の妥当性における障害を特定する。
これらの知見は、なぜカバレッジと再現性だけでは、有用な専門化の主張を正当化できないのかを証明している。
タスクのアドバンテージは実行全体にわたって持続し、使用可能な決定をガイドし、一致した推論予算の下で追加の固定的な実行を改善するべきである。
関連論文リスト
- Automatic Harness Evolution for Hardware Design Verification: Can LLMs Consolidate Gains Across Discovered Harnesses? [0.5371337604556311]
固定対象モデルの周辺における自動ハーネスの進化を,12の独自設計検証根本位置化タスクを用いて検討した。
タスク毎の5回の試行で、自動的に進化したハーネスは、完了した試行を71-76%増加させ、非ヒットなタスクカバレッジを80-100%増加させた。
CVDPのクロスベンチマークケーススタディでは、自動的に進化した定義幅の修理ハーネスが142タスクの基準ベースラインよりも35.6%機能的なパスを生成した。
論文 参考訳（メタデータ） (2026-09-24T01:41:01Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳（メタデータ） (2026-09-02T07:31:18Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。
2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。
共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
論文 参考訳（メタデータ） (2026-08-10T15:37:09Z) - CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
論文 参考訳（メタデータ） (2026-08-07T19:11:54Z) - SPOQ: Specialist Orchestrated Queuing for Multi-Agent Software Engineering [2.0769172070951067]
マルチエージェントAIシステムは、ソフトウェアエンジニアリングタスクの自動化を約束する。
既存のアプローチでは、調整のオーバーヘッド、品質管理のギャップ、人間の監視が制限されている。
SPOQ(Specialist Orchestrated Queuing)は,3つのイノベーションを組み合わせた方法論である。
論文 参考訳（メタデータ） (2026-06-02T03:59:56Z) - The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。
3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。
その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
論文 参考訳（メタデータ） (2025-05-05T18:06:51Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳（メタデータ） (2024-05-13T14:54:37Z) - Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal
Constraints [52.58352707495122]
本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。
都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
論文 参考訳（メタデータ） (2020-05-27T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。