論文の概要: Composing Linear Layers from Irreducibles

• arxiv url: http://arxiv.org/abs/2507.11688v2
• Date: Sun, 20 Jul 2025 03:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 12:28:43.150489
• Title: Composing Linear Layers from Irreducibles
• Title（参考訳）: 可逆性からの線形層の形成
• Authors: Travis Pence, Daisuke Yamada, Vikas Singh,
• Abstract要約: 線形層はビベクターの合成として表現できることを示す。 回転子生成物に分解する微分可能アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 21.94216765677867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary large models often exhibit behaviors suggesting the presence of low-level primitives that compose into modules with richer functionality, but these fundamental building blocks remain poorly understood. We investigate this compositional structure in linear layers by asking: can we identify/synthesize linear transformations from a minimal set of geometric primitives? Using Clifford algebra, we show that linear layers can be expressed as compositions of bivectors -- geometric objects encoding oriented planes -- and introduce a differentiable algorithm that decomposes them into products of rotors. This construction uses only O(log^2 d) parameters, versus O(d^2) required by dense matrices. Applied to the key, query, and value projections in LLM attention layers, our rotor-based layers match the performance of strong baselines such as block-Hadamard and low-rank approximations. Our findings provide an algebraic perspective on how these geometric primitives can compose into higher-level functions within deep models.
• Abstract（参考訳）: 現代の大きなモデルは、しばしばよりリッチな機能を持つモジュールを構成する低レベルのプリミティブの存在を示唆する振る舞いを示すが、これらの基本的な構成要素は理解されていないままである。 線形層におけるこの構成構造を、最小の幾何学的原始集合から線形変換を識別/合成できるか? クリフォード代数を用いて、線形層は、向き付けられた平面を符号化する幾何学的対象であるビベクターの合成として表現できることを示し、それらをローターの積に分解する微分可能なアルゴリズムを導入する。 この構成は O(log^2 d) パラメータのみを使用するが、密度行列で O(d^2) が要求される。 LLMアテンション層におけるキー,クエリ,値のプロジェクションに応用すると,ロータベースのレイヤはブロック・アダマールやローランク近似などの強いベースラインの性能と一致する。 我々の研究は、これらの幾何学的プリミティブがディープモデル内の高次関数にどのように構成できるかについての代数的視点を提供する。

関連論文リスト

• Cover Learning for Large-Scale Topology Representation [0.0]
  本稿では,幾何学的データセットのトポロジ的に忠実な被覆を学習する手法について述べる。 そこで得られた単純複体は, 標準トポロジカル推論手法よりも, サイズ的に優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-12T19:10:20Z)
• Point Cloud Synthesis Using Inner Product Transforms [13.608942872770855]
  内部積を用いた点雲の幾何学的位相特性を符号化する新しい手法を開発した。 我々のエンコーディングは、再構成、生成、推論といった典型的なタスクにおいて、既存の手法よりも桁違いに高速な推論時間で高品質である。
  論文  参考訳（メタデータ） (2024-10-09T17:19:22Z)
• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
  GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。 Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。 双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
  論文  参考訳（メタデータ） (2024-06-06T10:46:51Z)
• A technical note on bilinear layers for interpretability [0.0]
  双線型層は数学的に解析し易いタイプの層である。 バイリニア層に対するこの表現を変換回路の数学的枠組みに統合することができる。
  論文  参考訳（メタデータ） (2023-05-05T11:56:26Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Geometry of Linear Convolutional Networks [7.990816079551592]
  線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 LCN上の目的関数の最適化について検討し,関数空間および勾配空間における臨界点を解析した。 全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタに対応すると予測する。
  論文  参考訳（メタデータ） (2021-08-03T14:42:18Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• Learning from Protein Structure with Geometric Vector Perceptrons [6.5360079597553025]
  幾何学的ベクトルパーセプトロンを導入し、標準密度層を拡張してユークリッドベクトルの集合を演算する。 本稿では,タンパク質構造から学習する際の2つの重要な問題として,モデル品質評価と計算タンパク質設計について述べる。
  論文  参考訳（メタデータ） (2020-09-03T01:54:25Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。