論文の概要: Persistent Depth Ordering amid Shifting Block-Bypass Responses in Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.01165v1
• Date: Thu, 01 Oct 2026 06:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.937641
• Title: Persistent Depth Ordering amid Shifting Block-Bypass Responses in Language Model Pretraining
• Title（参考訳）: 言語モデル事前学習におけるブロック・バイパス応答の変化に伴う持続的深さ順序付け
• Abstract要約: 教師の強制した文脈におけるシングルブロックIDバイパスについて検討する。 ブロックバイパス応答は、その大きさが再分配される間、認識可能な深さの順序を保っている。 制御された実験により、自然のバイパス効果の変化は単一の下流感度に還元できないことが示された。
• 参考スコア（独自算出の注目度）: 0.45880283710344055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer interventions are widely used to probe the internal organization of language models, yet most analyses examine a single training checkpoint even though model representations and computations evolve throughout pretraining. This leaves open which depth-dependent intervention responses reflect persistent organization and which are transient consequences of training. We study this question using single-block identity bypass on fixed teacher-forced contexts across five released trajectories and 11 model-domain combinations. We find that block-bypass responses retain recognizable depth ordering while their magnitudes redistribute: nearby checkpoints preserve stronger rank correspondence than distant ones, and large changes concentrate at positions that recur across text samples and transfer across evaluation domains. Controlled experiments further show that changes in the natural bypass effect cannot be reduced to a single downstream sensitivity: in replicated Pythia runs, local missing-update magnitude grows while the pooled matched downstream response decreases, whereas OLMo-2 7B exhibits a different balance. These matched responses also depend on perturbation strength and direction, without identifying targeted compensation. Together, our results show that longitudinal layer sensitivity is structured but not static, and that single-checkpoint intervention responses should be interpreted in the context of how the underlying perturbation pathway evolves during training.
• Abstract（参考訳）: 層介入は言語モデルの内部構造を探索するために広く用いられているが、ほとんどの研究では、モデル表現と計算が事前学習を通して進化しているにもかかわらず、単一のトレーニングチェックポイントを検証している。 このことは、深さ依存的な介入反応が永続的な組織を反映し、トレーニングの過渡的な結果をもたらす。 本課題は,教師が強制した文脈を5つのリリーストラジェクトリと11のモデルドメインの組み合わせで一ブロックのIDバイパスを用いて検討する。 近傍のチェックポイントは、テキストサンプルをまたいで再帰し、評価領域をまたいで転送する位置に集中している。 さらに、制御された実験により、自然のバイパス効果の変化は単一の下流感度に還元できないことが示され、複製されたピシアでは、プールされた下流応答が減少する一方で、局所的な欠落更新サイズが増大する一方、OLMo-2 7Bは異なるバランスを示す。 これらの一致した応答は、目標の補償を特定せずに摂動強度と方向にも依存する。 以上の結果から, 単点干渉応答は, トレーニング中に下層の摂動経路がどう発達するかという文脈で解釈されるべきであると考えられる。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
  継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
  論文  参考訳（メタデータ） (2026-08-12T06:01:49Z)
• Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks [0.0]
  キルヒホフの法則に支配される微分可能な抵抗ネットワークにおける逐次学習について検討する。 タスクの衝突や新しいタスクへの適応の度合いによって,忘れることが制御されていることを示す。 これらの結果は、可変物質における連続的な学習を研究するための、コンパクトで物理的に解釈可能なテストベッドとして、微分可能な抵抗ネットワークを位置づけている。
  論文  参考訳（メタデータ） (2026-05-02T11:15:57Z)
• Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
  ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。 本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:06:53Z)
• A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
  局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。 その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-01-11T03:25:38Z)
• On Evolution-Based Models for Experimentation Under Interference [7.262048441360133]
  我々は、介入に応じて観察ラウンド間で結果がどのように変化するかを研究する進化に基づくアプローチについて研究する。 我々は、この手法のインスタンス化として、高密度ネットワークにおける因果メッセージパッシングを強調した。 このアプローチの限界について議論し、強い時間的傾向や内因性干渉が識別を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2025-11-26T18:53:46Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。