論文の概要: Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation

• arxiv url: http://arxiv.org/abs/2610.05076v1
• Date: Sun, 04 Oct 2026 09:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 23:40:43.861636
• Title: Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
• Title（参考訳）: 自己生成フィードバックによるテスト時間トレーニングの安定化:長期適応の因果分解
• Abstract要約: テストタイムトレーニングは、モデルが推論中に重みに情報を格納することを可能にする。 各更新では、次のトレーニング例を生成するモデルも変更される。 生成されたテキストの更新を保持する128Kのトーケンストリームは、独立した人文テキストの予測を悪化させる。
• 参考スコア（独自算出の注目度）: 55.54635884641362
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Test-time training (TTT) lets a model store information in its weights during inference. When the model learns from its own output, however, each update also changes the model that generates the next training example. Across 128K-token streams, retaining generated-text updates worsens prediction on independent human-written text with three TTT-E2E model configurations (labeled 125M, 760M, and 3B). The same failure occurs when Adam updates Qwen3-4B's existing weights. The same update mechanisms can improve on real text, so writing itself is not the failure. Three matched comparisons trace the causal pathway. Fixed Generation removes over 98% of the damage at 125M and 760M by using a frozen model to generate training chunks. Recorded Replay separates the loss caused by reading degraded text from the additional loss stored by updating on it. A paired one-update comparison then shows the local conflict: an update predicts its source better but new real text worse. This cost grows after Closed Loop adaptation, with a few trajectories accounting for most large failures. Finally, Settlement evaluates the candidate state on independent real text before commitment. It leaves mean endpoint gaps of 0.07 and -0.02 nats at 125M and 760M while retaining real-text adaptation. These results motivate checking prediction on independent evidence before retaining an update.
• Abstract（参考訳）: テストタイムトレーニング(TTT)は、モデルが推論中に重みに情報を格納することを可能にする。 しかし、モデルが自身の出力から学習すると、各更新は次のトレーニング例を生成するモデルも変更する。 TTT-E2Eモデルの3つの構成(125M, 760M, 3B)で、生成されたテキストの更新を保持する128Kのストリーム全体で、独立した人文テキストの予測が悪化する。 アダムはQwen3-4Bの既存の重量を更新した。 同じ更新メカニズムが実際のテキストで改善されるため、書き込み自体が失敗ではない。 3つの一致した比較は因果経路を辿る。 フィクステッドジェネレーションは、凍結モデルを用いて125Mと760Mの損傷の98%以上を除去し、トレーニングチャンクを生成する。 Recorded Replayは、劣化したテキストの読み込みによる損失と、更新によって格納された追加損失とを分離する。 アップデートによって、ソースが良くても、新しいリアルテキストが悪くなると予測される。 このコストはクローズドループ適応後に増大し、いくつかの軌道は大きな障害の原因となっている。 最後に、決着はコミットメントの前に独立した実テキスト上で候補状態を評価する。 平均終点間隔は0.07と-0.02で125Mと760Mであり、実際のテキスト適応は維持されている。 これらの結果は、更新を保持する前に独立した証拠のチェック予測を動機付ける。

関連論文リスト

• Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
  我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。 各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
  論文  参考訳（メタデータ） (2026-10-05T15:32:45Z)
• ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
  ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。 1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
  論文  参考訳（メタデータ） (2026-09-18T20:33:02Z)
• Where Decoder Cosine Similarity Fails for SAE Feature Flow Discovery [0.20415910628419062]
  状態機能と更新機能がどのように相互作用し、下流の残留機能を生成するかを検討する。 その結果,特徴フローのアトラスが表現更新機構の診断に有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-11T08:44:13Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• PURA: Provably Unbiased and Robust Multi-Bit Watermarking for AI-Generated Text Attribution [83.66032773976904]
  PURAは、テキスト属性に対する不偏で頑健なマルチビット透かし方式である。 PURAはトークンの確率を直接摂動するのではなく、鍵付き逆変換サンプリングによって潜在サンプリング空間にペイロードを埋め込む。 PURAは、高負荷体制において、既存の非バイアスベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-23T04:44:27Z)
• PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
  MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。 制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-03T09:07:44Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。