論文の概要: The Depth Flow of Token Representations Is Nonlinear and Does Not Descend Its Own Density

• arxiv url: http://arxiv.org/abs/2608.29706v1
• Date: Sun, 30 Aug 2026 10:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.049731
• Title: The Depth Flow of Token Representations Is Nonlinear and Does Not Descend Its Own Density
• Title（参考訳）: Token表現の深さフローは非線形であり、それ自身の密度を逸脱しない
• Abstract要約: トークンの表現はネットワーク層を介して層によって行われる。 我々は、この流れの運動方程式を、Pythia-160M と Pythia-410M のコーパス平均軌道上の離散ランゲヴィンモデルとして適合する。 トークンは、標準ランクがシャッフルされ、その濃度ランクが最後のブロックによって反転する間、その角ランクを13層すべてにわたって保持する。
• 参考スコア（独自算出の注目度）: 51.736723807086385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A token's representation is carried through the network layer by layer. The whole vocabulary carried together forms a flow. We fit this flow's equation of motion as a discrete Langevin model over corpus-mean trajectories of Pythia-160M and Pythia-410M, and score the predicted steps on held-out tokens. Linear maps are often used as cheap surrogates for a layer. The flow they summarize is not linear: a quadratic drift beats the linear linear map at every transition of both models, and the Kramers--Moyal estimator agrees wherever its neighborhoods stay local. We then characterize the flow further. First, we show that it does not descend its own log-density. The drift instead descends a potential that is not the density. Second, the rotational component is not negligible, $4$ to $45\%$ of the explainable drift, and the circulation shows in what the flow preserves: a token keeps its angular rank across all thirteen layers while its norm rank is shuffled and its concentration rank is reversed by the last block.
• Abstract（参考訳）: トークンの表現は、ネットワーク層を介して層によって行われる。 全語彙は流れを形成する。 我々は、この流れの運動方程式を、Pythia-160MとPythia-410Mのコーパス平均軌道上の離散ランゲヴィンモデルとして適合させ、ホールドアウトトークンの予測ステップを評価する。 リニアマップは、しばしば1層の安価なサロゲートとして使用される。 二次ドリフトは両方のモデルの遷移ごとに線型線型写像を打ち負かし、クラマース-モヤル推定器はその近傍が局所的にどこにあっても一致する。 そして、流れをさらに特徴付ける。 まず、自己のログ密度を下げないことを示す。 ドリフトは密度ではないポテンシャルを下降させる。 第二に、回転成分は、説明可能なドリフトの4ドルから45ドル%は無視できず、循環はフローが保存するものを示す: トークンはその標準ランクがシャッフルされ、その濃度ランクが最後のブロックによって逆転される間、13層すべての角ランクを維持する。

関連論文リスト

• Beckmann Transport Models: From Autonomous Flows to One-Step Maps [47.88178310873025]
  本稿では,時間非依存な速度場に依存する流れマッチングのインスタンス化を提案し,二つの分布をマッピングする。 また、この流れに付随する一段階生成写像が、単純な保存方程式のユニークな解であることも示している。
  論文  参考訳（メタデータ） (2026-08-03T04:45:52Z)
• The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System [42.117840303613164]
  安定性のエッジ、鋭さの振動、カタパルト相、バランス、フラットな表現への動きは、トレーニングマップ自体の効果である。 本稿では, 厳密解モデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
  論文  参考訳（メタデータ） (2026-07-06T12:28:24Z)
• Phantom transitions in language model fine-tuning [0.0]
  ほぼ同期の競合相手とコンテキスト上で言語モデルを微調整することは、しばしばサイレントに失敗する。 2つのファミリーにまたがる5つの変圧器アーキテクチャと5つのパラメータ範囲にまたがるこの構造について検討する。 位相遷移に類似した順序パラメータにおいて,鋭いカタパルト様ジャンプを観察する。
  論文  参考訳（メタデータ） (2026-05-25T10:44:42Z)
• A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases [1.157930969832493]
  大規模言語モデル(LLM)の層間における予測情報の幾何について検討する。 モデルが各層で何を予測しているかを問うのではなく、予測情報がどこにあり、どのように深みを越えて進化するかを問う。
  論文  参考訳（メタデータ） (2026-05-09T15:51:59Z)
• A Theory of Saddle Escape in Deep Nonlinear Networks [0.0]
  層重行列のフロベニウスノルムの不均衡について、スムーズな活性化と微分可能な損失を保った正確な恒等式を導出する。 置換対称部分多様体では、恒等式は近似バランス則と結合し、スカラーODEへの全行列フローを減少させる。 我々の理論と数値シミュレーションの間にはよく一致している。
  論文  参考訳（メタデータ） (2026-05-02T06:55:15Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk [59.87525177207915]
  シーンフローを近似する2点雲間の対応性を確立するための自己教師型手法を開発した。 本手法は,自己教師付き学習手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-18T03:12:42Z)
• Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
  動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。 我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-09-22T11:39:19Z)
• Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy [71.25689267025244]
  移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。 以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T23:49:53Z)
• Unique Properties of Flat Minima in Deep Networks [44.21198403467404]
  2次損失で訓練された線形ニューラルネットワークにおける平坦なミニマを特徴付ける。 実験により、これらの性質は実際に訓練された線形モデルと非線形モデルの両方の特徴であることが示されている。
  論文  参考訳（メタデータ） (2020-02-11T22:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。