論文の概要: Platonic Transformers: A Solid Choice For Equivariance

• arxiv url: http://arxiv.org/abs/2510.03511v1
• Date: Fri, 03 Oct 2025 20:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.083072
• Title: Platonic Transformers: A Solid Choice For Equivariance
• Title（参考訳）: プラトン変換器:等分散のためのソリッドチョイス
• Authors: Mohammad Mohaiminul Islam, Rishabh Anand, David R. Wessels, Friso de Kruiff, Thijs P. Kuipers, Rex Ying, Clara I. Sánchez, Sharvaree Vadgama, Georg Bökman, Erik J. Bekkers,
• Abstract要約: このトレードオフを解決するために、Platonic Transformerを導入します。 プラトンソリッド対称性群から参照フレームに対する注意を定義することにより、本手法は原則的重み共有スキームを導出する。 この注意は、動的群畳み込みと正式に等価であることを示し、モデルが適応的幾何フィルタを学習していることを明らかにする。
• 参考スコア（独自算出の注目度）: 25.29042615187704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While widespread, Transformers lack inductive biases for geometric symmetries common in science and computer vision. Existing equivariant methods often sacrifice the efficiency and flexibility that make Transformers so effective through complex, computationally intensive designs. We introduce the Platonic Transformer to resolve this trade-off. By defining attention relative to reference frames from the Platonic solid symmetry groups, our method induces a principled weight-sharing scheme. This enables combined equivariance to continuous translations and Platonic symmetries, while preserving the exact architecture and computational cost of a standard Transformer. Furthermore, we show that this attention is formally equivalent to a dynamic group convolution, which reveals that the model learns adaptive geometric filters and enables a highly scalable, linear-time convolutional variant. Across diverse benchmarks in computer vision (CIFAR-10), 3D point clouds (ScanObjectNN), and molecular property prediction (QM9, OMol25), the Platonic Transformer achieves competitive performance by leveraging these geometric constraints at no additional cost.
• Abstract（参考訳）: トランスフォーマーは広く普及しているが、科学やコンピュータビジョンに共通する幾何学的対称性の帰納バイアスは欠如している。 既存の同変法は、複雑で計算集約的な設計を通じてトランスフォーマーを効果的にする効率と柔軟性を犠牲にすることが多い。 このトレードオフを解決するために、Platonic Transformerを導入します。 プラトンソリッド対称性群から参照フレームに対する注意を定義することにより、本手法は原則的重み共有スキームを導出する。 これにより、標準変換器の正確なアーキテクチャと計算コストを保ちながら、連続変換とプラトン対称性に等しくなる。 さらに,この注意は動的群畳み込みと正式に等価であることを示し,適応的幾何フィルタを学習し,高度にスケーラブルで線形時間的な畳み込み変動を可能にすることを示した。 コンピュータビジョン(CIFAR-10)、3Dポイントクラウド(ScanObjectNN)、分子特性予測(QM9, OMol25)の多種多様なベンチマークにおいて、Platonic Transformerはこれらの幾何的制約を余分なコストで活用することで競争性能を達成する。

関連論文リスト

• Geometrically Constrained and Token-Based Probabilistic Spatial Transformers [5.437226012505534]
  我々は、トランスフォーマーベースのビジョンパイプラインの標準化ツールとして、空間トランスフォーマーネットワーク(STN)を再考する。 本稿では、堅牢性を向上させる確率的、コンポーネントワイドな拡張を提案する。 本手法が他のSTNと比較して頑健さを常に向上することを示す。
  論文  参考訳（メタデータ） (2025-09-14T11:30:53Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
  制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。 最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2025-01-30T22:52:40Z)
• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  トランスフォーマーと他のアーキテクチャを区別する点について、基本的な理解を提供する。 この結果から,トランスフォーマーにおける様々なアーキテクチャと最適化の選択は,その非線形な依存関係に遡ることができることが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• Transolver: A Fast Transformer Solver for PDEs on General Geometries [66.82060415622871]
  本稿では, 離散化された測地の背後に隠れた本質的な物理状態を学習するTransolverについて述べる。 スライスから符号化された物理認識トークンに注意を向けることで、Transovlerは複雑な物理的相関を効果的に捉えることができる。 Transolverは6つの標準ベンチマークで22%の相対的な利得で一貫した最先端を実現し、大規模産業シミュレーションでも優れている。
  論文  参考訳（メタデータ） (2024-02-04T06:37:38Z)
• Learning Modulated Transformation in GANs [69.95217723100413]
  生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。 挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-29T17:51:22Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。