論文の概要: The Model Knows When to Stop: Training-Free Early Stopping for Long-Context Reading

• arxiv url: http://arxiv.org/abs/2609.34590v1
• Date: Mon, 28 Sep 2026 08:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:06:56.874202
• Title: The Model Knows When to Stop: Training-Free Early Stopping for Long-Context Reading
• Title（参考訳）: いつ止まるべきかをモデル: 長期学習のための訓練不要早期停止
• Abstract要約: 本稿では,質問するよりも判断する訓練不要な停止規則であるAnswer-Convergence Stoppingを紹介する。 各チャンクの後に、凍結したモデルの現在の解答状態を調べ、その状態が自信と安定の両方であるときに停止する。 2つのフロンティアモデルを備えた完全なLongBench-v2では、ACSが唯一の停止ポリシーであり、完全な読み上げ精度に適合または超えている。
• 参考スコア（独自算出の注目度）: 3.705718227493618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models often process long inputs sequentially in chunks, but continuing to read after sufficient evidence has been acquired wastes computation. Existing stopping mechanisms either learn sufficiency from internal activations or train an exit gate, while a simpler alternative asks the model whether it has read enough. We introduce Answer-Convergence Stopping (ACS), a training-free stopping rule that measures rather than asks. After each chunk, it probes the frozen model's current answer state and stops when that state is both confident and stable. The rule requires only output-side generation and token log probabilities, has no trained components, and uses one shared configuration across models and benchmarks. Because a stopping policy can save computation simply by stopping too early, we evaluate the stopping decision itself using evidence position where available. On the full LongBench-v2 with two frontier models, ACS is the only stopping policy that matches or exceeds full-reading accuracy. Furthermore, across 250 S-NIAH questions, the premature stopping rate for ACS across five models from two families ranges from 0% to 12%, compared to 8.4% to 45.6% for the verbalized gate. Taken together, ACS reveals that by properly utilizing the output signals of frozen models, we can achieve favorable behaviors like adaptive stopping without the need for additional training.
• Abstract（参考訳）: 言語モデルは多くの場合、長い入力をチャンクで逐次処理しますが、十分な証拠が得られた後に読み続けます。 既存の停止メカニズムは、内部のアクティベーションから十分学習するか、出口ゲートを訓練するかのいずれかであり、より単純な代替手段は、十分に読み取ったかどうかをモデルに尋ねる。 本稿では,質問するよりも判断する訓練不要な停止規則であるAnswer-Convergence Stopping(ACS)を紹介する。 各チャンクの後に、凍結したモデルの現在の解答状態を調べ、その状態が自信と安定の両方であるときに停止する。 このルールは出力側生成とトークンログの確率のみを必要とし、トレーニング済みのコンポーネントがなく、モデルとベンチマーク間で1つの共有構成を使用する。 停止ポリシーは、計算を早めに停止させることで簡単に省くことができるので、利用可能なエビデンス位置を用いて、停止決定自体を評価する。 2つのフロンティアモデルを備えた完全なLongBench-v2では、ACSは完全な読み出し精度に適合または超える唯一の停止ポリシーである。 さらに250件のS-NIAH質問に対して、ACSの早期停止率は0%から12%であり、言語ゲートは8.4%から45.6%である。 ACSは、凍結モデルの出力信号を適切に活用することにより、追加のトレーニングを必要とせずに適応的な停止のような好ましい動作を実現できることを明らかにした。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• The Detection-Extraction Gap: Models Know the Answer Before They Can Say It [1.423262366328995]
  部分的な接頭辞から解答が回復した後に連鎖トークンが生成されることを示す。 早期接頭辞からの無料継続は、10%のトレースでも正しい回答を回復するが、強制抽出はこれらのケースの42%で失敗する。 検出と抽出の両方に自由継続を利用するブラックボックス適応早期退避(BAEE)を提案する。
  論文  参考訳（メタデータ） (2026-04-08T02:47:31Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Valid Stopping for LLM Generation via Empirical Dynamic Formal Lift [6.908972852063454]
  シーケンシャルEDFLは、シーケンシャルベースラインに対して22～28%生成を減少させる。 EDFLは第1段階のフィルタとして機能し、検証負荷を83%削減する。
  論文  参考訳（メタデータ） (2025-10-07T21:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。