論文の概要: Multiscale POD of Transformer Attention Fields: Scale-Selective Analysis via Morlet Scalogram

• arxiv url: http://arxiv.org/abs/2606.06573v1
• Date: Thu, 04 Jun 2026 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.384934
• Title: Multiscale POD of Transformer Attention Fields: Scale-Selective Analysis via Morlet Scalogram
• Title（参考訳）: 変圧器注意領域のマルチスケールPOD:モレット・スカグラムによるスケール選択解析
• Authors: Athanasios Zeris,
• Abstract要約: 本稿では,変圧器の注意領域に対するスケール選択型固有直交分解(POD)を提案する。 PODは、乱流アンサンブルからエネルギー的に支配的なモードを抽出するためのPODの使用にインスパイアされている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce scale-selective Proper Orthogonal Decomposition (POD) for transformer attention fields, inspired by the use of POD for extracting energetically dominant modes from turbulent flow ensembles. The Morlet continuous wavelet transform identifies dominant temporal scales in the attention lag structure across a document ensemble; POD then extracts the energetically dominant modes at each scale from the ensemble of attention fields. The resulting modes reveal layer-dependent scale organisation, with early layers emphasising fine scales and later layers shifting toward coarser scales. We define a spectral concentration index from the POD eigenvalue decay rate and show empirically that it differentiates layers by their attention field complexity. By the classical POD optimality theorem, the extracted modes minimise the average L2 reconstruction error over the ensemble (Theorem 1), giving a data-driven effective rank for each layer. The method requires no architectural modification and no linguistic annotations: dominant attention patterns emerge from ensemble statistics alone. The turbulence analogy is structural rather than physical: we borrow ensemble covariance and modal analysis, not fluid dynamics itself.
• Abstract（参考訳）: 乱流アンサンブルからエネルギー的に支配的なモードを抽出するためにPODを用いることに着想を得た,変圧器注目場のためのスケール選択型固有直交分解(POD)を導入する。 モーレット連続ウェーブレット変換は、文書アンサンブルをまたいだアテンションラグ構造における支配的時間スケールを識別し、PODはアテンションフィールドのアンサンブルから各スケールにおけるエネルギー的に支配的なモードを抽出する。 結果として、レイヤ依存のスケール組織が出現し、初期のレイヤは細かいスケールに重点を置いており、後のレイヤは粗いスケールに移行している。 我々は,POD固有値崩壊率からスペクトル濃度指数を定義し,その注意場複雑性によって層を識別できることを実証的に示す。 古典的なPOD最適性定理により、抽出されたモードは、アンサンブル上の平均L2再構成誤差を最小化し(定理1)、各層に対してデータ駆動の効果的なランクを与える。 この手法はアーキテクチャの変更も言語アノテーションも必要とせず、アンサンブル統計のみから主要な注意パターンが出現する。 乱流の類似は物理的ではなく構造的であり、流体力学そのものではなく、アンサンブル共分散とモーダル解析を借用する。

関連論文リスト

• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Measuring and Decomposing Mode Separation via the Canonical Diffusion [0.0]
  モード分離は密度の基本的な幾何学的性質であり、高次元での定量化が難しい。 密度に固有の1つのプロセスを通してモード分離を測定する。 i)合成ガウス混合物,(ii)SDXLテキスト・トゥ・イメージ世代,(ii)SSAとDAがエントロピーとPCAミスを捉えた構造,(iii)アラニンジペプチドの分子動力学,(iii)DAは静的サンプルから既知の遅いバックボーンを回収する。
  論文  参考訳（メタデータ） (2026-05-09T08:05:55Z)
• Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems [0.0]
  DDIMの逆チェーンがPIFS(Partitioned Iterated Function System)として動作することを示す。 PIFSは、拡散モデルスケジュール、アーキテクチャ、および訓練目標を記述するための統一設計言語として機能する。
  論文  参考訳（メタデータ） (2026-03-13T15:15:50Z)
• scDFM: Distributional Flow Matching Model for Robust Single-Cell Perturbation Prediction [12.48933770510505]
  条件付きフローマッチングに基づく生成フレームワークである scDFM を提案する。 scDFMは、細胞レベルでの通信以上の個体群を混乱させ、制御する。
  論文  参考訳（メタデータ） (2026-02-06T17:00:21Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• A Critical Assessment of Pattern Comparisons Between POD and Autoencoders in Intraventricular Flows [4.123458880886283]
  自動エンコーダ(AE)モデルは,特定の潜在空間構成の下でPODのようなコヒーレント構造を再現可能であることを示す。 全体として、AEsは特定の潜在空間構成の下でPOD様のコヒーレント構造を再現できることを示す。
  論文  参考訳（メタデータ） (2025-12-22T13:21:11Z)
• SeaDAG: Semi-autoregressive Diffusion for Conditional Directed Acyclic Graph Generation [83.52157311471693]
  方向性非巡回グラフ(DAG)の条件生成のための半自己回帰拡散モデルSeaDAGを紹介する。 グローバルグラフ構造を欠いた従来の自己回帰生成とは異なり,本手法は拡散ステップ毎に完全なグラフ構造を保持する。 本研究では,現実的なDAGを生成する拡散モデルの能力を高めるために,条件損失を伴うグラフ条件学習を明示的に訓練する。
  論文  参考訳（メタデータ） (2024-10-21T15:47:03Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation [56.04628143914542]
  拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。 本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。 我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
  論文  参考訳（メタデータ） (2022-10-10T18:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。