Fugu-MT 論文翻訳(概要): Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention

論文の概要: Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention

arxiv url: http://arxiv.org/abs/2606.22172v1
Date: Sat, 20 Jun 2026 17:59:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 22:19:20.853676
Title: Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
Title（参考訳）: シンメトリブルランク1バイリニアアテンションとしてのGated MLP
Authors: Nathan Breslow,
Abstract要約: 従来のゲートは、クエリとキーに対応する2つの異なる要素を持つ双線形アテンション機構に対するランク1近似と見なせることを示す。非線形性を1つの因子に移すことは、2つの因子間の交換対称性を破り、非均一な活性化に対しては逆スケーリング対称性も破る。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We show that the conventional gated MLP can be viewed as a rank-1 approximation to a bilinear attention mechanism with two distinct factors corresponding to the query and the key. We further show that moving the nonlinearity onto one factor breaks the exchange symmetry between the two factors and, for non-homogeneous activations, the inverse-scaling symmetry as well. This perspective may help explain why gated MLPs are effective in practice and inform the design of future architectures.
Abstract（参考訳）: 従来のゲート型MLPは、クエリとキーに対応する2つの異なる因子を持つ双線形アテンション機構に対するランク1近似と見なせることを示す。さらに、非線形性を1つの因子に移動させることは、2つの因子間の交換対称性を破り、非均一な活性化に対しては逆スケーリング対称性も破ることを示した。この視点は、ゲート型MLPが実際に有効である理由を説明し、将来のアーキテクチャの設計を知らせるのに役立つかもしれない。

関連論文リスト

Representation-Induced Symmetry Trapping in Adaptive Variational Quantum Simulations of Multi-Reference Topologies [0.0]
スピン保存されたSUSD演算子プールを高度に拡張した構成で評価した。点群対称性の保存が最適化景観を構造的に保護することを示す。プール内の構造的重複を利用して、共分散駆動型適応ショットアロケーションフィルタを導入する。
論文参考訳（メタデータ） (2026-06-11T14:16:11Z)
Degeneracy beyond the parity-symmetry protection in one-dimensional spinless models: The parity-violating Kerr parametric oscillator [0.0]
一次元量子系は自発的対称性を破り、対称性(非退化)と破壊対称性の位相を持つ。ほとんどの場合、自然に壊れた対称性はパリティである。パリティ対称性を持たない系において、反単位対称性によって同様の位相を得ることができる。
論文参考訳（メタデータ） (2025-11-12T10:03:12Z)
Axis-level Symmetry Detection with Group-Equivariant Representation [48.813587457507786]
最近の熱マップに基づくアプローチは対称性軸のポテンシャル領域をローカライズすることができるが、個々の軸を特定する精度に欠けることが多い。本稿では,2つの最も一般的な対称性-反射と回転の軸レベル検出のための新しい枠組みを提案する。提案手法は最先端の性能を達成し,既存手法より優れている。
論文参考訳（メタデータ） (2025-08-14T15:26:53Z)
Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文参考訳（メタデータ） (2025-06-28T01:46:36Z)
Analogs of deconfined quantum criticality for non-invertible symmetry breaking in 1d [0.0]
非可逆対称性の破れの異なるパターンに対応する1dスピン鎖の2階相転移を探索する。臨界点は、分解された量子臨界点のよく理解された例といくつかの特徴を共有している。また、非可逆順序パラメータ間の分解量子臨界点を含む関連するモデルにおける近相相と相転移についても検討する。
論文参考訳（メタデータ） (2025-06-01T19:29:44Z)
When GNNs meet symmetry in ILPs: an orbit-based feature augmentation approach [32.718944771397666]
整数線形プログラム(ILP)の共通特性は対称性であり、基底となる問題構造を変更することなく変数を置換することができる。古典的なGNNアーキテクチャは、予測精度を制限する対称変数の区別に苦慮している。我々は、まず対称変数をグループ化し、次に離散的な一様分布から各群に対する拡張特徴をサンプリングする軌道ベースの拡張スキームを開発する。
論文参考訳（メタデータ） (2025-01-24T03:33:33Z)
HeNCler: Node Clustering in Heterophilous Graphs via Learned Asymmetric Similarity [48.62389920549271]
HeNClerは、重み付けされたカーネル特異値分解に基づいてクラスタリング固有の目的を最適化することで類似性グラフを学習する。提案手法は,非対称類似グラフ上でのスペクトルクラスタリングを可能にし,有向グラフと無向グラフの両方に柔軟性を提供する。
論文参考訳（メタデータ） (2024-05-27T11:04:05Z)
Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文参考訳（メタデータ） (2024-01-10T02:38:21Z)
Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers [52.468311268601056]
本稿では凸双対性のレンズを通して注意を解析する。我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
論文参考訳（メタデータ） (2022-05-17T04:01:15Z)
Symmetry Breaking in Symmetric Tensor Decomposition [44.181747424363245]
我々は、対称テンソルの点階分解を計算する非対称問題を考える。損失関数の臨界点が標準手法によって検出されることを示す。
論文参考訳（メタデータ） (2021-03-10T18:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。