論文の概要: Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

• arxiv url: http://arxiv.org/abs/2606.19249v1
• Date: Wed, 17 Jun 2026 16:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.267443
• Title: Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory
• Title（参考訳）: 変圧器測地観測所TGO-I:分光測地観測所
• Authors: Kaustubh Kapil, Kishor P. Upla,
• Abstract要約: 本稿では、視覚変換器の表現幾何学と力学を研究するためのフレームワークであるTransformer Geometry Observatory (TGO)を紹介する。 フレームワークの最初のインストールであるTGO-Iは、ViT表現のスペクトル幾何学に焦点を当てている。 その結果, 等方性低下, スペクトルエントロピーの増大, 参加率の増加, 固有スペクトルの漸進的平坦化とともに, 次元利用が一貫した増加を示した。
• 参考スコア（独自算出の注目度）: 2.4900509453584156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the widespread adoption of Vision Transformers (ViTs) and their success across numerous computer vision applications, the fundamental understanding of their dimensional and representational geometry remains relatively underexplored. To address this gap, we introduce Transformer Geometry Observatory (TGO), a systematic framework of experiments and analysis pipelines designed to investigate the representational geometry and dynamics of Vision Transformers. TGO-I, the first installment of the framework, focuses on the spectral geometry of ViT representations. Using a ViT-Small/16 model trained on ImageNet-100, we analyze Effective Rank, Stable Rank, Participation Ratio, Spectral Entropy, Spectral Flatness, Spectral Anisotropy, covariance structure, eigenspectra, and singular value spectra throughout training. Our results reveal a consistent increase in dimensional utilization, accompanied by decreasing anisotropy, increasing spectral entropy, increasing participation ratio, and progressively flatter eigenspectra. Contrary to the common intuition that training should concentrate information into a small number of dominant directions, we observe a progressive redistribution of variance across representational dimensions. This phenomenon is particularly pronounced in the final CLS token representation, which exhibits the highest effective dimensionality and lowest anisotropy within the network.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)が広く採用され、多くのコンピュータビジョンアプリケーションで成功しているにもかかわらず、その次元と表現幾何学の基本的な理解はいまだに未熟である。 このギャップに対処するために、我々は、視覚変換器の表現幾何学と力学を研究するために設計された実験と分析パイプラインの体系的なフレームワークであるTransformer Geometry Observatory (TGO)を紹介した。 フレームワークの最初のインストールであるTGO-Iは、ViT表現のスペクトル幾何学に焦点を当てている。 ImageNet-100でトレーニングされたViT-Small/16モデルを用いて、トレーニングを通して有効ランク、安定ランク、参加率、スペクトルエントロピー、スペクトル平坦度、スペクトル異方性、共分散構造、固有スペクトル、特異値スペクトルを分析した。 その結果, 等方性低下, スペクトルエントロピーの増大, 参加率の増加, 固有スペクトルの漸進的平坦化とともに, 次元利用が一貫した増加を示した。 トレーニングが少数の支配的な方向に情報を集中すべきという一般的な直観とは対照的に、私たちは表現次元にまたがる分散の進歩的な再分配を観察する。 この現象は、ネットワーク内の最も有効次元と最低異方性を示す最後のCRSトークン表現において特に顕著である。

関連論文リスト

• Beyond Compression: Quantifying Spectral Accessibility in Vision Representations [4.681075707831016]
  視覚言語モデルは、学習したプロジェクション層を通して視覚的特徴を共有埋め込み空間にマッピングする。 本研究では,空間周波数アクセシビリティによる表現の変化について,モデル表現からの帯域制限エネルギーの線形回復率を用いて検討した。
  論文  参考訳（メタデータ） (2026-06-02T15:42:54Z)
• LESSViT: Robust Hyperspectral Representation Learning under Spectral Configuration Shift [29.791943499456426]
  低ランク空間スペクトル ViT (LESSViT) は、クロススペクトル一般化のためのセンサフレキシブルアーキテクチャである。 空間スペクトルマスキングと階層チャネルサンプリングを分離したハイパースペクトルマスク付きオートエンコーダ(HyperMAE)を導入する。
  論文  参考訳（メタデータ） (2026-05-18T15:22:26Z)
• Applying Vision Transformers on Spectral Analysis of Astronomical Objects [1.4061979259370274]
  我々は、SDSSとLAMOSTによる数百万のスペクトルを用いて、ImageNetで事前訓練されたViTを微調整し、スペクトルプロットとして表現する。 我々は、Support Vector MachinesやRandom Forestsよりも高い分類精度を実現し、AstroCLIPのスペクトルエンコーダに匹敵するR2$の値を得る。
  論文  参考訳（メタデータ） (2025-05-30T22:53:45Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• Approaching Deep Learning through the Spectral Dynamics of Weights [41.948042468042374]
  重みのスペクトル力学 -- 最適化中の特異値とベクトルの振る舞い -- は、ディープラーニングにおけるいくつかの現象を明確にし、統一する。 ConvNetによる画像分類,UNetsによる画像生成,LSTMによる音声認識,Transformersによる言語モデリングなど,さまざまな実験における最適化における一貫したバイアスを同定する。
  論文  参考訳（メタデータ） (2024-08-21T17:48:01Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• Investigating Expressiveness of Transformer in Spectral Domain for Graphs [6.092217185687028]
  変圧器の領域における空間領域とスペクトル領域の関連性について検討し,その証明を行う。 本研究では,空間空間における注目に類似したグラフスペクトル全体に対する注目を実現するためのフレームワークFeTAを提案する。
  論文  参考訳（メタデータ） (2022-01-23T18:03:22Z)
• Unsupervised Machine Learning for Exploratory Data Analysis of Exoplanet Transmission Spectra [68.8204255655161]
  我々は、通過する太陽系外惑星のスペクトルデータを解析するための教師なし手法に焦点をあてる。 スペクトルデータには、適切な低次元表現を要求する高い相関関係があることが示される。 主成分に基づく興味深い構造、すなわち、異なる化学状態に対応する明確に定義された分岐を明らかにする。
  論文  参考訳（メタデータ） (2022-01-07T22:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。