論文の概要: The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers

• arxiv url: http://arxiv.org/abs/2607.23050v1
• Date: Sat, 25 Jul 2026 05:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.982648
• Title: The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers
• Title（参考訳）: 変圧器のエントロピー境界:なぜ静的なランクが失敗し、注意-負のランクが回復するのか
• Abstract要約: 変圧器のタスク内在容量のスペクトル概念であるエントロピック境界について検討する。 まず、線形注意代数学において、トークン混合作用素の内在ランク$r*$が厳密な下界であることを証明する。 そして、これが真に注目を集めるかどうかを尋ねる。 これに感銘を受けた本質的な階級の注意を喚起する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws describe how loss decreases as models, data, and compute grow, but they do not answer a prior question: for a fixed task, what is the minimum model capacity required to solve it? We study this through the Entropic Bound, a spectral notion of task-intrinsic capacity for Transformers. We first prove that, in a linear attention surrogate, the intrinsic rank $r^*$ of the token-mixing operator is a tight lower bound: any rank-deficient model incurs unavoidable excess risk, and the bound is achievable at $r^*$. We further show that gradient descent recovers this rank under standard low-rank implicit-bias assumptions, confirm all three properties empirically, and show $r^*$ is recoverable from data before training. We then ask whether this transfers to real attention. A naive transfer fails, and a controlled interpolation ladder localizes the cause precisely: it is not softmax and not a rank constraint, but the input-conditioned nature of attention's mixing operator, which a static weight kernel cannot summarize. Motivated by this, we introduce an attention-native intrinsic rank -- the minimum query-key kernel rank realizing the task within the attention class -- and show that under this definition the full Entropic Bound structure (deficiency, achievability, recovery) is restored for both linear and softmax attention, with the energy effective rank as the estimator robust to softmax distortion. Finally, we map the boundary of data-only predictability: $r^*$ is exactly recoverable for linear QK attention, even without the value map at scale, while softmax attention admits only partial pre-training recovery due to nonlinear inversion and kernel-value identifiability effects. Our results reframe the Entropic Bound from a post-hoc descriptor into an attention-native capacity measure with a precisely characterized predictability frontier.
• Abstract（参考訳）: ニューラルネットワークのスケーリング法則は、モデル、データ、計算が成長するにつれて、損失がどのように減少するかを記述するが、それ以前の質問には答えない。 変換器のタスク内在能力のスペクトル概念であるエントロピックバウンド(Entropic Bound)を用いてこれを研究する。 まず、線形注意代数学において、トークン混合作用素の固有ランク $r^*$ が厳密な下界であることが証明される:任意のランク欠損モデルは避けられない余剰リスクを発生させ、その境界は$r^*$ で達成可能である。 さらに、勾配降下は標準的な低ランクの暗黙バイアス仮定の下でこのランクを回復し、3つの特性を経験的に確認し、トレーニング前のデータから$r^*$が回復可能であることを示す。 そして、これが真に注目を集めるかどうかを尋ねる。 ネーブ転送が失敗し、制御された補間はしごが原因を正確にローカライズする:それはソフトマックスではなくランク制約ではなく、静的ウェイトカーネルが要約できないアテンションの混合作用素の入力条件の性質である。 このことから,本定義では,アテンションクラス内のタスクを実現する最小クエリキーカーネルランクであるアテンションネイティブ固有ランクを導入し,フルエントロピー境界構造(障害,達成性,回復性)を線形およびソフトマックスの両方のアテンションに対して復元し,エネルギ有効ランクをソフトマックス歪みに頑健な推定器として示す。 最後に、データのみの予測可能性の境界をマッピングする:$r^*$は、スケールの値マップがなくても、線形QKの注意に対して正確に回復可能であるが、ソフトマックスの注意は、非線形反転とカーネル値の識別可能性効果による部分的な事前学習の回復しか認めない。 その結果,エントロピック境界をポストホックディスクリプタからアテンションネイティブなキャパシティ尺度に再構成し,予測可能性フロンティアを正確に評価した。

関連論文リスト

• Improving Adversarial Robustness of Attribution via Implicit Regularization [9.78455276849371]
  属性の敵対的堅牢性は、深層学習における信頼性説明可能性の基本的な要件である。 我々は、標準勾配降下の学習力学から頑健性が暗黙的に生じることを示した。 本研究は,ロバストな説明可能性のための原理的かつ実践的なメカニズムとして,学習力学を強調した。
  論文  参考訳（メタデータ） (2026-05-28T14:19:39Z)
• Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning [26.624140780367103]
  インコンテキスト強化学習は、事前訓練後、パラメータを更新せずに追加コンテキストに条件付けすることで、新しいタスクに適応する。 本稿では、非現実的な線形注意を単純化することなく、ICRLに関する最初の理論的理解を提供する。 このようなソフトマックスの注意を持つトランスフォーマーの階層的に前方通過は、重み付きソフトマックス時間差(TD)学習アルゴリズムの反復更新と等価であることを示す。
  論文  参考訳（メタデータ） (2026-05-08T06:37:51Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Efficient Generalized Low-Rank Tensor Contextual Bandits [14.016197224603433]
  本稿では,3つの特徴ベクトルから行動が生成され,テンソルで表現できる,低ランクな文脈帯域モデルを提案する。 探索と利用のトレードオフを効果的に実現するために,我々は「一般化低ランク部分空間を再定義する」という新しいアルゴリズムを導入する(G-LowTESTR)。 厳密な理論解析により、G-LowTESTRの後悔境界はベクトル化や行列化の場合よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-11-03T08:12:05Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。