論文の概要: Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
- arxiv url: http://arxiv.org/abs/2609.32814v1
- Date: Sat, 26 Sep 2026 17:39:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 20:00:24.956631
- Title: Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
- Title（参考訳）: プロダクトの変更、パラメータの維持:トランスフォーマーのためのアソシアティブな代数層
- Abstract要約: Transformerの学習したプロジェクションは、まったく違う安価な製品を使うことができます。
通常の行列乗法をスペーサー相互作用テーブルに置き換えるアソシエイト・代数構造を構築した。
4つのプロンプトドメインをまたいだモデルでは、エンド・ツー・エンドの生成スループットが6.2-7.8%向上する。
- 参考スコア（独自算出の注目度）: 2.916073607715504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fast matrix multiplication algorithms keep the product fixed and search for a cheaper way to evaluate it. We instead ask whether a Transformer's learned projections can use a different, cheaper product altogether. Building on an associative-algebra construction that replaces ordinary matrix multiplication with a sparser interaction table over the same weight blocks, we construct a family with quadratic arithmetic in the matrix dimension when the physical block size remains fixed, and derive finite-shape constraints for GPU execution. The construction is provably optimal for its bilinear rank by the Alder--Strassen bound and can be realized as row-typed rectangular projections compatible with causal masking and KV-cached decoding. We provide an empirical test of this approach by training two approximately 110M-parameter decoder-only Transformer LMs from the same recipe and 12.3B-token budget, differing only in their feed-forward layer: one uses ordinary dense matrix multiplication and the other uses the associative-algebra product. Across four prompt domains, the algebraic model achieves a 6.2--7.8\% increase in end-to-end generation throughput, while obtaining lower scores on all three reported downstream metrics. We treat these results as a feasibility and trainability check for the proposed approach at small scale, leaving further investigation to future work.
- Abstract（参考訳）: 高速行列乗算アルゴリズムは、製品を固定し、それを評価するためのより安価な方法を探す。
代わりに、Transformerの学習したプロジェクションが、まったく違う安価な製品を使えるかどうか尋ねます。
通常の行列乗法を同じ重みブロック上のスペーサー相互作用テーブルに置き換えるアソシエイト代数の構成に基づいて、物理ブロックサイズが固定されたままのときの行列次元の2次演算系を構築し、GPU実行のための有限形状制約を導出する。
Alder-Strassen 境界による双線形階数に最適であり、因果マスクや KV-cached 復号と整合する行型矩形射影として実現可能である。
約110MのデコーダのみのトランスフォーマーLMを同一のレシピと12.3Bの予算でトレーニングし、フィードフォワード層でのみ異なる2つの実験を行った。
4つのプロンプト領域にわたって、代数モデルは、報告された3つの下流メトリクスで低いスコアを得ながら、エンドツーエンドの生成スループットを6.2～7.8 %向上させる。
本研究は,提案手法の実施可能性と訓練可能性の検証を小規模で行い,今後の研究に追随する。
関連論文リスト
- DiBA: Diagonal and Binary Matrix Approximation for Neural Network Weight Compression [8.81314696375596]
線形層、1時間1ドルの畳み込み、アテンションプロジェクション、埋め込み層を含む現代のネットワークの多くのコンポーネントは、密度の高い行列重みを持つ。
DiBAは$AinmathbbRmtimes n$ by $widehat A=D_1B_DBD_3$を近似する。
DiBARD (DiBA with Retuning only Diagonal Factor) は、密度の高い行列層をDiBA因子で置き換え、バイナリ行列を凍結し、下流データ上の対角成分のみをリチューニングする。
論文 参考訳（メタデータ） (2026-05-07T10:46:22Z) - Sign Embedding Quantum Algorithms for Matrix Equations and Matrix Functions [4.591453488105558]
本研究では,行列方程式と行列関数のための演算子出力量子アルゴリズムの枠組みを開発する。
通常のシルヴェスター方程式に対して、ターゲット行列解の明示的なブロックエンコーディングを提供する。
これらのアルゴリズムは、オーバーラップベースの正規化簿記を通常の方程式や一般化方程式に伝播させる。
論文 参考訳（メタデータ） (2026-04-28T07:50:42Z) - Block encoding of sparse matrices with a periodic diagonal structure [67.45502291821956]
周期的な対角構造を持つスパース行列を符号化するための明示的な量子回路を提供する。
本手法の様々な応用は, 微分問題を解く文脈で論じる。
論文 参考訳（メタデータ） (2026-02-11T07:24:33Z) - MemoryFormer: Minimize Transformer Computation by Removing Fully-Connected Layers [43.39466934693055]
本稿では,新しい視点から計算複雑性(FLOP)を大幅に低減する,新しいトランスフォーマーアーキテクチャであるMemoryFormerを提案する。
これは、完全連結層の線形射影を置き換えるために、特徴変換の代替手法を利用することで実現される。
提案手法の有効性を示すため,様々なベンチマーク実験を行った。
論文 参考訳（メタデータ） (2024-11-20T02:41:53Z) - Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。
事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。
適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。
SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文 参考訳（メタデータ） (2024-10-30T12:08:30Z) - Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。
我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。
可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
論文 参考訳（メタデータ） (2024-06-11T04:52:23Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-01-19T04:24:23Z) - Kaleidoscope: An Efficient, Learnable Representation For All Structured
Linear Maps [20.151950843660973]
我々は,準最適空間を持つ任意の構造行列を表現可能なk行列(kaleidoscope matrices)を導入する。
K-行列は手作りの手順を置き換えるためにエンドツーエンドのパイプライン内で自動的に学習することができる。
我々はTransformerネットワークでK-matricesを使用して、言語翻訳タスクにおいて、エンドツーエンドの推論速度を36%高速化する。
論文 参考訳（メタデータ） (2020-12-29T22:51:29Z) - Sketching Transformed Matrices with Applications to Natural Language
Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文 参考訳（メタデータ） (2020-02-23T03:07:31Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳（メタデータ） (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。