論文の概要: What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects

• arxiv url: http://arxiv.org/abs/2610.05533v1
• Date: Sun, 04 Oct 2026 20:56:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:12:24.317755
• Title: What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects
• Title（参考訳）: ハーネス修復とは何か : 可視性, ベースライン精度, 評価欠陥の予備調査
• Abstract要約: 3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストのパーティション、GEPA検索アーム、6つの評価欠陥が一度に1つずつ注入された結果が得られた。 9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。
• 参考スコア（独自算出の注目度）: 17.521700896129115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Harness search keeps a change to the prompts, reasoning switches, token budgets or parsers around a frozen model if the change raises a score. Such a gain can come from answers the parser could not read before, a weak comparison, or a defect in the evaluation. We preregistered a study of where these gains come from, with three small models, three benchmarks, replication and test partitions, a GEPA search arm and six evaluation defects injected one at a time, and we report all 47 primary endpoints. Turning thinking off raised accuracy over a capped thinking setting in 5 of 9 model-benchmark cells, and in each the gain came mostly from questions where the capped setting gave no readable answer. The thinking-off setting was not meaningfully worse than a rescue configuration or four GEPA-selected harnesses in 11 of 13 comparisons, and lost to the rescue on GSM8K for two models. GEPA repaired its broken starting points, but none of its selected harnesses was more accurate than the thinking-off setting. A thinking budget in the serving engine, which also allows a longer answer, lowered truncation and raised the parse rate in 6 of 9 cells. In 6 of 15 evaluable defect-model pairs, replication through the same pipeline reproduced the defect's distortion instead of revealing it. On the LongevityBench multiple-choice tasks, only the longevity-tuned model beat the strongest constant-label baseline.
• Abstract（参考訳）: Harness Searchは、変更がスコアを上げると、フリーズモデルの周りにプロンプト、推論スイッチ、トークン予算、パーサの変更を保持する。 このような利得は、パーサーが以前に読めなかった回答、弱い比較、評価の欠陥から得ることができる。 3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストパーティション、6つの評価欠陥が一度に1つずつ注入された。 9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。 思考オフ設定は、13個の比較のうち11個のGEPA選択型ハーネスよりも有意に悪くなかったが、2つのモデルでGSM8Kの救助に敗れた。 GEPAは故障したスタートポイントを修復したが、選択されたハーネスはいずれも思考設定よりも正確ではなかった。 サーブエンジンの思考予算は、より長い答えを許容し、トランケーションを低下させ、パースレートを9細胞中6細胞で上昇させた。 評価可能な15の欠陥モデルペアのうち6つでは、同じパイプラインを通したレプリケーションが、欠陥を露呈する代わりに欠陥の歪みを再現した。 LongevityBenchの多重選択タスクでは、長寿チューニングされたモデルのみが最強の定数ラベルベースラインを上回った。

関連論文リスト

• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B [0.0]
  言語モデルプランの作成、独自の回答の批判と書き直し、ミスの反映、いくつかの試みのベストの選択、あるいは自分自身のコピーで議論する方法は、ほとんどすべてが、単一の思考の連鎖よりもはるかに多くのテキストを生成する。 より多くのテキストを生成すると、それ自身で精度が上がるので、ある思考の連鎖の利得は、その方法のアイデアを示さない。
  論文  参考訳（メタデータ） (2026-07-30T17:38:23Z)
• Try Again, Don't Look Back: Blind Resampling Outperforms Self-Repair in Small Code Models [0.0]
  Self-repairはコードエージェントの標準コンポーネントであり、ほとんど常にリトライしないベースラインに対して評価されている。 MBPP+を3つのモデルスケールでプラセボ制御した設計を用いて, 整合型再試行条件を4つ比較した。
  論文  参考訳（メタデータ） (2026-07-28T16:58:27Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning [15.231928045776293]
  sevraは、凍結したソルバの初期応答を保存するか、アクティブな検証を実行するかを決定するサーブレイヤーコントローラである。 数学では、選択的検証は76.3%の精度で行われ、検証は常に75.5%である。 CommonsenseQAでは、常時オンの検証が問題になり、Self-Consistency@5では、実現したトークンコストの約5倍の精度が向上する。
  論文  参考訳（メタデータ） (2026-06-18T05:25:43Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。