論文の概要: Partial Symmetry Enforced Attention Decomposition (PSEAD): A Group-Theoretic Framework for Equivariant Transformers in Biological Systems

• arxiv url: http://arxiv.org/abs/2507.14908v1
• Date: Sun, 20 Jul 2025 10:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.118409
• Title: Partial Symmetry Enforced Attention Decomposition (PSEAD): A Group-Theoretic Framework for Equivariant Transformers in Biological Systems
• Title（参考訳）: 部分対称性強化注意分解(PSEAD) : 生体系における同変変変圧器の群論的枠組み
• Authors: Daniel Ayomide Olanrewaju,
• Abstract要約: 本研究はPSEAD(Partial Symmetry Enforced Attention Decomposition)の理論を紹介する。 本研究では,生物データのウィンドウ上での局所置換サブグループ動作の概念を定式化し,注意機構が自然に既約成分の直接和に分解されることを証明した。 この研究は、生物学的に認知され、対称性を意識した人工知能の新しい世代の基盤となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research introduces the Theory of Partial Symmetry Enforced Attention Decomposition (PSEAD), a new and rigorous group-theoretic framework designed to seamlessly integrate local symmetry awareness into the core architecture of self-attention mechanisms within Transformer models. We formalize the concept of local permutation subgroup actions on windows of biological data, proving that under such actions, the attention mechanism naturally decomposes into a direct sum of orthogonal irreducible components. Critically, these components are intrinsically aligned with the irreducible representations of the acting permutation subgroup, thereby providing a powerful mathematical basis for disentangling symmetric and asymmetric features. We show that PSEAD offers substantial advantages. These include enhanced generalization capabilities to novel biological motifs exhibiting similar partial symmetries, unprecedented interpretability by allowing direct visualization and analysis of attention contributions from different symmetry channels, and significant computational efficiency gains by focusing representational capacity on relevant symmetric subspaces. Beyond static data analysis, we extend PSEAD's applicability to dynamic biological processes within reinforcement learning paradigms, showcasing its potential to accelerate the discovery and optimization of biologically meaningful policies in complex environments like protein folding and drug discovery. This work lays the groundwork for a new generation of biologically informed, symmetry-aware artificial intelligence models.
• Abstract（参考訳）: 本研究では、局所対称性の認識をトランスフォーマーモデル内の自己注意機構のコアアーキテクチャにシームレスに統合する新しい厳密なグループ理論フレームワークであるPSEAD(Partial Symmetry Enforced Attention Decomposition)について紹介する。 生物データのウィンドウ上での局所置換部分群作用の概念を定式化し、そのような作用の下では、注意機構が自然に直交既約成分の直接和に分解されることを証明した。 批判的に、これらの成分は本質的に作用置換部分群の既約表現と一致しており、したがって対称的および非対称的特徴を分離する強力な数学的基盤を提供する。 PSEADには大きな利点がある。 これらには、同様の部分対称性を示す新しい生物学的モチーフへの一般化能力の強化、異なる対称性チャネルからの注意貢献を直接視覚化し分析することによる前例のない解釈可能性、関連する対称部分空間に表現能力を集中させることによる重要な計算効率の向上が含まれる。 静的データ解析以外にも、PSEADの適用性を強化学習パラダイム内の動的生物学的プロセスに拡張し、タンパク質の折り畳みや薬物発見といった複雑な環境における生物学的に有意なポリシーの発見と最適化を加速する可能性を示す。 この研究は、生物学的に認知され、対称性を意識した人工知能の新しい世代の基盤となる。

関連論文リスト

• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Lie symmetries and ghost-free representations of the Pais-Uhlenbeck model [44.99833362998488]
  より高次時間微分理論のパラダイム的な例である Pais-Uhlenbeck (PU) モデルについて検討する。 モデルのビ・ハミルトニアン構造とともにリー対称性を爆発させることで、ポアソンブラケットの異なる定式化を構築する。 我々の手法は、より高い時間微分力学を解釈し安定化するための統一的な枠組みをもたらす。
  論文  参考訳（メタデータ） (2025-05-09T15:16:40Z)
• Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors [46.59269589647962]
  グループ平等は、ディープラーニングにおいて価値ある帰納的バイアスとして現れてきた。 群同変法は、利害の群を事前に知る必要がある。 データセットが強い対称性を示すと、置換行列は正規群表現に収束することを示す。
  論文  参考訳（メタデータ） (2024-12-05T20:15:34Z)
• Deep Signature: Characterization of Large-Scale Molecular Dynamics [29.67824486345836]
  ディープシグナチャ(Deep Signature)は、複雑な力学と原子間相互作用を特徴付ける、計算的に抽出可能な新しいフレームワークである。 提案手法では,協調力学を局所的に集約してシステムのサイズを小さくするソフトスペクトルクラスタリングと,非滑らかな対話力学のグローバルな評価を行うシグネチャ変換を取り入れた。
  論文  参考訳（メタデータ） (2024-10-03T16:37:48Z)
• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Discovering Symmetry Breaking in Physical Systems with Relaxed Group Convolution [21.034937143252314]
  我々は、リラックスしたグループ畳み込みを用いてデータの非対称性を学習することに集中する。 我々は、様々な物理系において解釈可能で物理的に意味のある様々な対称性を破る要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-03T14:03:21Z)
• On discrete symmetries of robotics systems: A group-theoretic and data-driven analysis [38.92081817503126]
  力学系の離散的形態対称性について検討する。 これらの対称性は、系の形態学における1つ以上の平面/対称性の軸の存在から生じる。 我々はこれらの対称性をデータ拡張と$G$-equivariant Neural Networkを用いて活用する。
  論文  参考訳（メタデータ） (2023-02-21T04:10:16Z)
• The Surprising Effectiveness of Equivariant Models in Domains with Latent Symmetry [6.716931832076628]
  領域対称性と正確に一致しない対称性制約を課すことは、環境における真の対称性を学ぶのに非常に有用であることを示す。 ロボット操作・制御問題における教師付き学習と強化学習の両方において,同変モデルが潜在対称性を持つ領域における非同変手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-11-16T21:51:55Z)
• Complexity from Adaptive-Symmetries Breaking: Global Minima in the Statistical Mechanics of Deep Neural Networks [0.0]
  深部ニューラルネットワーク(DNN)を理解するために、物理における保守対称性への適応対称性というアンチセティカル概念を提案する。 我々はDNNシステムの最適化過程を適応対称性破りの拡張プロセスとして特徴付けている。 より具体的には、この過程は統計物理学の一般化として評価できる統計力学モデルによって特徴づけられる。
  論文  参考訳（メタデータ） (2022-01-03T09:06:44Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。