論文の概要: Dynamic Mode Decomposition along Depth in Vision Transformers

• arxiv url: http://arxiv.org/abs/2605.07556v1
• Date: Fri, 08 May 2026 10:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.995187
• Title: Dynamic Mode Decomposition along Depth in Vision Transformers
• Title（参考訳）: 視覚変換器の深さ方向の動的モード分解
• Abstract要約: 我々は,ViTの深さがほぼ自明な線形力学を実装しているかどうかを問う。 我々は、動的モード分解(DMD)を用いてこれをテストし、選択された連続した隠れ状態ペアからK$に適合する。 予め訓練した4種類のDINO ViTについて, 安定適合に必要な正則化, ランク, 校正予算について検討した。
• 参考スコア（独自算出の注目度）: 2.899294572150795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work has shown that contiguous vision transformer (ViT) blocks (a) can be replaced by a linear map and (b) organize into recurrent phases of computation. We ask whether these observations coincide: does ViT depth implement approximately \textit{autonomous linear} dynamics, admitting a single operator $K$ applied recurrently across a contiguous span? We test this using Dynamic Mode Decomposition (DMD), which fits $K$ from selected, consecutive hidden-state pairs and predicts $p$ steps ahead via $K^p$. On four pretrained DINO ViTs, we study the regularization, rank, and calibration budget required for stable fitting. For short spans ($p \leq 4$), $K^p$ tracks an unconstrained endpoint map to within $0.02$ cosine similarity on DINOv3-H/16+, while also recovering intermediate activations at each skipped block. At early cut starts, the fitted operators compress to rank $\ll d$ with minimal calibration data, and across tokens, \texttt{cls} is most amenable to linearization; both properties decay monotonically with depth. Yet this local fidelity does not transfer downstream. At the final hidden state, after propagating through the remaining blocks, an identity baseline becomes competitive.
• Abstract（参考訳）: 最近の研究は、連続視覚変換器(ViT)ブロックが示している (a) を線型写像に置き換えることができる (b)計算の繰り返しフェーズに編成する。 ViT depth はおよそ \textit{autonomous linear} dynamics を実装しており、連続したスパンに1つの演算子$K$を連続的に適用することを認めるか? 我々はDynamic Mode Decomposition (DMD)を用いてこれをテストし、選択された連続した隠れ状態ペアから$K$に適合し、$K^p$を介して$p$のステップを予測します。 予め訓練した4種類のDINO ViTについて, 安定適合に必要な正則化, ランク, 校正予算について検討した。 ショートスパン($p \leq 4$)の場合、$K^p$は非制約のエンドポイントマップをDINOv3-H/16+で0.02$のコサイン類似度まで追跡し、スキップブロックごとに中間アクティベーションを回復する。 初期のカット開始時に、適合作用素は最小限のキャリブレーションデータで$\ll d$のランクに圧縮され、トークン間では \texttt{cls} は線形化に最も適しており、両方の性質は深さとともに単調に崩壊する。 しかし、この局所的な忠実さは下流に伝達しない。 最後の隠れ状態では、残りのブロックを伝搬した後、アイデンティティベースラインが競合する。

関連論文リスト

• High-Dimensional Nonparametric Change-Point Detection via Low-Rank Degree-Three Density Projection [2.1991623402625606]
  分布の変化は手段に見えず、共変は歪み、非対称な相互作用、または他の3階構造に現れる。 我々は, 直接密度推定を回避しつつ, 密度の最大3次係数を全て保持する非パラメトリックな変化点法を開発した。
  論文  参考訳（メタデータ） (2026-08-16T01:21:55Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Why Do Few-Step Text Latents Fail When Image Latents Work? Non-Commitment at Sharp Categorical Readouts [1.1760370831826417]
  滑らかで規則性に制限された決定論的写像は、シャープなカテゴリーの読み出しの前に離散的な分岐選択を解決できないことを示す。 実テキストオートエンコーダの重なり合う状態において、後平均終端ステップが決定境界の周囲に$O(s(t)$チューブで潜在質量の速度でトークンを反転させることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:20:57Z)
• Catching a Moving Subspace: Low-Rank Bandits Beyond Stationarity [13.385373310554327]
  本研究では,スカラーフィードバックを用いた縦-縦-縦-縦-横-横-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-縦-横-横-横-横-横-横-横-横-横-横-横-縦-横-横-横-横-横-横-横-横- シングルプレイスカラー報酬では、移動部分空間は報酬の二次函数によって回復可能である。 これは、識別境界を特徴づけ、本質的なランクの動的回帰率を得るための最初の研究である。
  論文  参考訳（メタデータ） (2026-05-18T22:01:48Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference [1.7523718031184992]
  この障害の基本的なメカニズムは、 textbf Premature Mode Collapseである。 提案手法は,適応型スケジューリングアルゴリズムであるtextbfEfficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC) で,推論過程の安定性をモニタする。
  論文  参考訳（メタデータ） (2026-01-30T14:47:18Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Control of the von Neumann Entropy for an Open Two-Qubit System Using Coherent and Incoherent Drives [50.24983453990065]
  本稿では、時間依存デコヒーレンス率を誘導するコヒーレント制御と非コヒーレント制御を備えた開2量子系のフォン・ノイマンエントロピー$S(rho(t))$を操作するためのアプローチを開発することに専念する。 a) the final entropy $S(rho(T))$; (b) steering $S(rho(T))$ to a given target value; (c) steering $S(rho(T))$ to a target value and satisfying the pointwise state constraint $S(T)
  論文  参考訳（メタデータ） (2024-05-10T10:01:10Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。