論文の概要: When the harness decides success: state that cannot be re-observed

• arxiv url: http://arxiv.org/abs/2610.26632v1
• Date: Mon, 19 Oct 2026 15:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:15:32.131335
• Title: When the harness decides success: state that cannot be re-observed
• Title（参考訳）: ハーネスが成功を決めるとき:再観測できない状態
• Abstract要約: コンテキストウィンドウの切り換えには、必要な事実を再度見直すことができれば、低コストの推論モデルが成功しないということが示される。 また,標準ハーネスのノートを取る招待状を維持しながら,古い曲がり角を落とさずに要約し,63点差の86%を復元し,モデルの推論を再現することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent harnesses decide what a language model sees across turns: they drop old turns, summarize them, or replay the model's own earlier reasoning. We ask when these choices change whether an agent succeeds, not only what it costs, and report three findings. First, in a pre-registered synthetic probe, truncating the context window costs a low-cost reasoning model nothing in success when a needed fact can be looked up again (it looks the fact up instead), but drops its success to chance when the fact cannot be re-observed: the two penalties differ by 92.5 percentage points (90% CI [89.5, 95.5]). A pre-registered replication on one model from a second provider showed the same contrast. Once the fact was lost, that model chose no answer rather than guessing. Second, on ARC-AGI-3, where the benchmark's Standard harness trails its Provider Adapter harness by a wide margin, we decompose that gap one component at a time, for one model on four games. Summarizing old turns instead of dropping them, while keeping the Standard harness's invitation to take notes, recovers 86% of a 63-point gap without replaying the model's reasoning. The same harness without the invitation recovers 43%, and adding the provider's native replay of the model's reasoning recovers the remaining 57%. These are point estimates from one counted run per configuration and game, and the replay share depends on a single run. Third, in the benchmark's published runs and in ours, the Adapter's advantage in the probability of clearing a level it has reached is larger at deep levels than at early ones. This largely restates where runs stopped and does not separate a growing advantage from a constant one.
• Abstract（参考訳）: エージェントハーネスは、言語モデルがターンをまたいで見るものを決定する。 これらの選択は、エージェントが成功するかどうか、費用だけでなく、いつ変わるのかを問うとともに、3つの知見を報告する。 第一に、事前登録された合成プローブにおいて、コンテキストウィンドウの切り離しは、必要な事実をもう一度調べることができれば成功しないという低コストの推論モデルにコストがかかる(その代わり、事実が上向きに見える)が、2つの罰則は92.5パーセント(90% CI [89.5, 95.5])異なる。 2番目のプロバイダから1つのモデルに事前登録されたレプリケーションは、同じコントラストを示した。 一度その事実が失われると、そのモデルは推測するよりも答えを選んだ。 第2に、ARC-AGI-3では、ベンチマークの標準ハーネスがProvider Adapterのハーネスを広いマージンで追っているため、4つのゲームにおいて1つのモデルに対して、そのギャップを1つずつ分解する。 メモを取るための標準ハーネスの招待状を維持しながら、古い曲がり角を落とす代わりに要約すると、63点差の86%はモデルの推論をリプレイすることなく回復する。 招待なしに同じハーネスが43%回復し、モデルの推論をプロバイダのネイティブリプレイを追加すると、残りの57%が回復する。 これらは構成とゲーム毎にカウントされた1つの実行からのポイント推定であり、リプレイの共有は1回の実行に依存する。 第3に、ベンチマークの公開実行と我々の調査では、到達したレベルをクリアする確率におけるAdapterのアドバンテージは、初期のものよりも深いレベルで大きい。 これは、実行が停止し、成長するアドバンテージを一定のものから切り離さない部分で、主に回復する。

関連論文リスト

• Compression Precedes, Content Decides: Emergent Misalignment in Reward Models [1.307723060087649]
  我々は2つの最先端の報酬モデル、Skywork-Reward-V2-Llama-3.1-8BとSkywork-Reward-V2-Qwen3-8Bを微調整する。 1つの領域で害を優先する狭い微調整報酬モデルが7つの保留領域に一般化されることを示す。
  論文  参考訳（メタデータ） (2026-10-16T01:31:52Z)
• SolBehave: Evaluating the Behavioural Correctness of LLM-Generated Smart Contracts [8.328553901101122]
  モデル生成契約の正確性を評価するためのベンチマークであるSolBehaveを紹介する。 本研究では, ファジィファジィング, ヒストリー・トランジッション・リプレイ, 合成・トランジッション・リプレイという, 行動忠実性の3つのテストを適用した。 1ラウンドの自動修復を行った後、7つの最先端のオープンウェイトモデルを評価した。
  論文  参考訳（メタデータ） (2026-10-13T17:12:59Z)
• What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects [17.521700896129115]
  3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストのパーティション、GEPA検索アーム、6つの評価欠陥が一度に1つずつ注入された結果が得られた。 9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。
  論文  参考訳（メタデータ） (2026-10-04T20:56:07Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Try Again, Don't Look Back: Blind Resampling Outperforms Self-Repair in Small Code Models [0.0]
  Self-repairはコードエージェントの標準コンポーネントであり、ほとんど常にリトライしないベースラインに対して評価されている。 MBPP+を3つのモデルスケールでプラセボ制御した設計を用いて, 整合型再試行条件を4つ比較した。
  論文  参考訳（メタデータ） (2026-07-28T16:58:27Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• The Detection-Extraction Gap: Models Know the Answer Before They Can Say It [1.423262366328995]
  部分的な接頭辞から解答が回復した後に連鎖トークンが生成されることを示す。 早期接頭辞からの無料継続は、10%のトレースでも正しい回答を回復するが、強制抽出はこれらのケースの42%で失敗する。 検出と抽出の両方に自由継続を利用するブラックボックス適応早期退避(BAEE)を提案する。
  論文  参考訳（メタデータ） (2026-04-08T02:47:31Z)
• Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning [84.2749507577386]
  MCTSにインスパイアされた検索アルゴリズムであるRetro-Searchを導入し,大規模モデルから高品質な推論経路を抽出する。 Retro-Searchは、より良い、しかし短いトレースを見つけるための推論パスをふりかえりに修正する。 当社のアプローチでは,モデルが独自のRetro-Search-edトレースに基づいて微調整される自己改善と,弱いから強い改善の2つのユースケースを実現しています。
  論文  参考訳（メタデータ） (2025-04-06T06:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。