論文の概要: How Do Transformers Learn to Represent Symmetries?

• arxiv url: http://arxiv.org/abs/2610.10305v1
• Date: Wed, 07 Oct 2026 16:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.018272
• Title: How Do Transformers Learn to Represent Symmetries?
• Title（参考訳）: トランスフォーマーはどうやって対称性を表現できるか?
• Abstract要約: 有限データ拡張によるトランスフォーマーベースのアーキテクチャのトレーニングは、機械学習においてますます一般的なアプローチになりつつある。 本研究では,バニラ変換器が点クラウドデータセットの有限データ拡張を通じて様々な対称性を学習する能力について検討する。
• 参考スコア（独自算出の注目度）: 40.30350748792312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Transformer-based architectures with finite data augmentation has become an increasingly popular approach in geometric machine learning. Despite its empirical success, the interplay between the Transformer architecture, invariance to different symmetries, and augmentation budgets remains underexplored. In this paper, we study the ability of a vanilla Transformer to learn various symmetries through finite data augmentation for point cloud datasets. We identify an ordering of increasing learnability across the following symmetry groups: (i) non-angle-preserving symmetries, (ii) angle-preserving symmetries, and (iii) base angle-preserving subgroups, such as translation, rotation, and scale. For the base angle-preserving groups, we further investigate the Transformer's extrapolation behavior and conduct a structural analysis of the trained models, allowing us to identify interpretable mechanisms that induce invariance. Finally, we extend our analysis to equivariant functions and show that the detected mechanisms for approximate invariance can also provide a key building block for learned equivariance. Our project page is available at https://transformers-learn-symmetries.github.io/
• Abstract（参考訳）: 有限データ拡張によるトランスフォーマーベースのアーキテクチャのトレーニングは、幾何学的機械学習において、ますます一般的なアプローチになりつつある。 実証的な成功にもかかわらず、トランスフォーマーアーキテクチャ間の相互作用、異なる対称性の相違、拡張予算は未定のままである。 本稿では,バニラ変換器が点クラウドデータセットの有限データ拡張を通じて様々な対称性を学習する能力について検討する。 以下の対称性群にまたがる学習可能性の増大の順序を同定する。 (i)非角保存対称性 (二)角度保存対称性及び (iii)翻訳、回転、スケールなどの基底角度保存部分群。 ベースアングル保存群について,トランスフォーマーの外挿挙動を更に調査し,トレーニングされたモデルの構造解析を行い,不変性を誘導する解釈可能な機構を同定する。 最後に、解析を同変関数に拡張し、検出された近似不変性の機構が、学習された同変に対する重要なビルディングブロックを提供することを示す。 私たちのプロジェクトページはhttps://transformers-learn-symmetries.github.io/で公開されています。

関連論文リスト

• Symmetry From Scratch: Group Equivariance as a Supervised Learning Task [1.8570740863168362]
  対称性を持つ機械学習データセットにおいて、対称性の破れとの後方互換性のパラダイムは、同変のアーキテクチャ制約を緩和することであった。 機械学習モデルにおける同値化を誘導する手法である対称性閉包を導入する。
  論文  参考訳（メタデータ） (2024-10-05T00:44:09Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
  入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。 このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。 実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
  論文  参考訳（メタデータ） (2022-04-24T22:31:52Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。