論文の概要: Toward Manifest Relationality in Transformers via Symmetry Reduction

• arxiv url: http://arxiv.org/abs/2602.18948v1
• Date: Sat, 21 Feb 2026 19:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.413397
• Title: Toward Manifest Relationality in Transformers via Symmetry Reduction
• Title（参考訳）: 対称性の低減による変圧器のマニフェスト関係性に向けて
• Authors: J. François, L. Ravera,
• Abstract要約: トランスフォーマーモデルは、実質的な内部冗長性を含んでいる。 近年のアプローチでは、対称性を明示的に破ることによってこの問題に対処している。 対称性の低減に基づく相補的な枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer models contain substantial internal redundancy arising from coordinate-dependent representations and continuous symmetries, in model space and in head space, respectively. While recent approaches address this by explicitly breaking symmetry, we propose a complementary framework based on symmetry reduction. We reformulate representations, attention mechanisms, and optimization dynamics in terms of invariant relational quantities, eliminating redundant degrees of freedom by construction. This perspective yields architectures that operate directly on relational structures, providing a principled geometric framework for reducing parameter redundancy and analyzing optimization.
• Abstract（参考訳）: トランスフォーマーモデルは、それぞれモデル空間とヘッド空間における座標依存表現と連続対称性から生じる実質的な内部冗長性を含んでいる。 近年のアプローチでは、対称性を明示的に破壊することでこの問題に対処するが、対称性の低減に基づく補完的な枠組みを提案する。 我々は、不変リレーショナル量の観点から表現、注意機構、最適化力学を再構成し、建設による冗長な自由度を排除した。 この観点は、関係構造を直接操作するアーキテクチャをもたらし、パラメータの冗長性を低減し、最適化を分析するための原則化された幾何学的枠組みを提供する。

関連論文リスト

• Scale redundancy and soft gauge fixing in positively homogeneous neural networks [0.0]
  正に均質な活性化を持つニューラルネットワークは、正確な連続的な再パラメータ化対称性を示す。 不変方向とスケール不均衡方向を分離するゲージ適応座標を導入する。 電場理論におけるゲージ固定に着想を得て、冗長スケール座標のみに作用するソフト軌道選択関数を導入する。
  論文  参考訳（メタデータ） (2026-02-16T13:21:49Z)
• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• RiemanLine: Riemannian Manifold Representation of 3D Lines for Factor Graph Optimization [49.83974390433746]
  本稿では,3次元ラインの最小限の統一表現である textbfRiemanLine を紹介する。 私たちのキーとなるアイデアは、各行のランドマークをグローバルなコンポーネントとローカルなコンポーネントに分離することです。 ICL-NUIM, TartanAir, および総合ベンチマークを用いた実験により, 提案手法はより精度の高いポーズ推定とライン再構成を実現することが示された。
  論文  参考訳（メタデータ） (2025-08-06T11:27:38Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings [38.819359908152656]
  目的の曲率特性をよく設計した縮小写像が向上し, より条件のよい問題や, 理論上は勾配に基づく手法の収束性が向上することを示した。 本分析は,最適化アルゴリズムで観測された経験的利得の原理的説明として,最適な構造情報を活用して収束を加速するシナリオを統一する。
  論文  参考訳（メタデータ） (2025-06-10T04:03:59Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。