論文の概要: Delayed Supervision for Test-Time Language Models

• arxiv url: http://arxiv.org/abs/2609.32312v1
• Date: Sat, 26 Sep 2026 07:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:51:44.970578
• Title: Delayed Supervision for Test-Time Language Models
• Title（参考訳）: テスト時間言語モデルのための遅延スーパービジョン
• Abstract要約: テスト時言語モデルは入力シーケンスを処理しながらコンパクトメモリに適応する。 このテストタイムメモリの遅延監視について検討する。 この手法をLaCT-760MとDeltaNet-1.3Bで評価する。
• 参考スコア（独自算出の注目度）: 1.6069043475584275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time language models adapt a compact memory while processing the input sequence. This perspective encompasses nonlinear fast-weight learning in LaCT, associative delta-rule updates in DeltaNet, and generalized delta-rule state updates in RWKV-7. Training these models to predict the next token does not explicitly require a fact to remain accessible after many subsequent memory updates. We study delayed supervision for this test-time memory: during post-training, ask a simulator-grounded question only after a long interval of unrelated events, and supervise its answer alongside ordinary next-token prediction. Questions are evaluated on disposable branches, so their answers never enter the continuing event stream. The construction distinguishes retention from revision: a retained fact must remain valid throughout the delay, whereas a revised fact must be answered with its latest value. We evaluate this approach on LaCT-760M and plain DeltaNet-1.3B using TextWorld training trajectories and shared BABILong and RULER evaluation panels, and include a separately reported RWKV-7 comparison. Relative to event-only training, delayed QA improves BABILong by 5.48 percentage points for LaCT and 1.32 points for DeltaNet, and single-needle RULER by 1.45 and 3.27 points, respectively. The RWKV-7 comparison reports gains of 4.60 and 7.00 points on its own panels. These results support delayed semantic supervision as a practical outer training objective for usable test-time memory, while leaving open how much of the benefit derives specifically from delay rather than general question-answering and answer-termination supervision.
• Abstract（参考訳）: テスト時言語モデルは入力シーケンスを処理しながらコンパクトメモリに適応する。 この観点は、LaCTにおける非線形高速学習、DeltaNetにおける連想デルタルール更新、RWKV-7における一般化デルタルール状態更新を含む。 次のトークンを予測するためにこれらのモデルをトレーニングすることは、多くのメモリ更新後にアクセス可能な事実を明示的に必要としない。 本研究では,このテスト時間記憶の遅延監視について検討し,無関係なイベントの長い間隔でシミュレーターによる質問を行い,その回答を通常の次の予測と共に監督する。 質問は使い捨てのブランチで評価されるので、その回答は継続するイベントストリームには入らない。 維持された事実は遅延の間有効でなければならないが、修正された事実はその最新の価値で答えなければならない。 本研究では,テキストワールドトレーニングトラジェクトリと共有BABILongとRULER評価パネルを用いて,LaCT-760MとDeltaNet-1.3Bのアプローチを評価し,RWKV-7の比較を別々に報告した。 イベントのみのトレーニングとは対照的に、遅延QAでは、LACTでは5.48ポイント、DeltaNetでは1.32ポイント、シングルニードルRULERでは1.45ポイント、RULERでは3.27ポイント改善されている。 RWKV-7の比較では、自身のパネルで4.60点と7.00点の上昇が報告されている。 これらの結果は,日常的な質問応答や回答終了の監督よりも,特に遅延から得られるメリットをオープンに保ちながら,使用可能なテスト時間記憶のための実践的な外部トレーニング目標として,意味的監督の遅れを支持する。

関連論文リスト

• Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining [33.69413571438309]
  終末変動に対する最近の進展のバランスをとるために, 頭頂部収縮平均化(TSA)を提案する。 局所2次近似を用いて,TSAが望ましい終末学習率のスケジュールをどのように変更するかを解析する。 その結果,Depth-22 NanoChatへの転送が得られ,スケジュールと推定器の組み合わせで検証精度が向上することを示した。
  論文  参考訳（メタデータ） (2026-09-21T23:19:17Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• UpgradeBench: A Decision-Centric Benchmark for Upgrading Fine-Tuned LLM Specialists [10.23869027501654]
  4つの連続したQwenリリースをカバーする決定駆動型縦断ベンチマークであるUpgradeを提示する。 アップグレードは、新しいチェックポイントが、固定準備された専門家のパフォーマンスを改善するかどうか、バージョン間での資産移動、そして、リカバリリソースが使用可能なものかどうか、という3つの中核的な疑問を解消する。
  論文  参考訳（メタデータ） (2026-08-21T09:37:47Z)
• Right Knowledge, Wrong Answer: Test-Time Steering for Temporal Fact Conflicts in Open-Weight Language Models [2.11832654407998]
  大規模な言語モデルは、時代遅れの事実と、より新しい上位の事実の両方をパラメータに格納することができるが、標準のプロンプトは依然として時代遅れの回答を引き出す可能性がある。 私たちはこの問題をPTC(Parametric Temporal Conflict)として定式化し、TAS(Tarator Steering)を導入します。 TASは、潜在的な競合を検出し、競合クリティカルな層を特定し、再トレーニングや外部検索なしに、隠れた状態を新しいファクト表現に向けて操る。
  論文  参考訳（メタデータ） (2026-06-18T21:56:18Z)
• Closing the Loop on Latent Reasoning via Test-Time Reconstruction [45.08180971427891]
  最近の研究は、中間推論を自然言語のトレースから潜時あるいはキャッシュレベルの表現に移行している。 本稿では,クエリ自体を参照としてループをクローズする自己教師型テストタイムトレーニング手法であるRELATを提案する。 ReLATは、単一モデル推論、テキストベースのコラボレーション、オープンループラテントコラボレーション、代替テストタイムトレーニング目標よりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-04T14:54:40Z)
• A Closer Look at Temporal Sentence Grounding in Videos: Datasets and Metrics [70.45937234489044]
  2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。 基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。 すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
  論文  参考訳（メタデータ） (2021-01-22T09:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。