論文の概要: Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning

• arxiv url: http://arxiv.org/abs/2505.15507v1
• Date: Wed, 21 May 2025 13:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.66415
• Title: Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning
• Title（参考訳）: 機械学習における合成埋め込みのための指向性非可換なモノイダル構造
• Authors: Mahesh Godavarti,
• Abstract要約: 指向性非可換モノイド作用素上に構築された合成埋め込みのための新しい構造を導入する。 我々の構成では、各軸 i に対して異なる合成演算子 circ_i を定義し、大域的な可換性を与えることなく、各軸に沿って連想結合を保証する。 すべての軸特異作用素は互いに可換であり、一貫した交叉軸合成を可能にする大域的交換法則を強制する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce a new algebraic structure for multi-dimensional compositional embeddings, built on directional non-commutative monoidal operators. The core contribution of this work is this novel framework, which exhibits appealing theoretical properties (associativity along each dimension and an interchange law ensuring global consistency) while remaining compatible with modern machine learning architectures. Our construction defines a distinct composition operator circ_i for each axis i, ensuring associative combination along each axis without imposing global commutativity. Importantly, all axis-specific operators commute with one another, enforcing a global interchange law that enables consistent crossaxis compositions. This is, to our knowledge, the first approach that provides a common foundation that generalizes classical sequence-modeling paradigms (e.g., structured state-space models (SSMs) and transformer self-attention) to a unified multi-dimensional framework. For example, specific one-dimensional instances of our framework can recover the familiar affine transformation algebra, vanilla self-attention, and the SSM-style recurrence. The higher-dimensional generalizations naturally support recursive, structure-aware operations in embedding spaces. We outline several potential applications unlocked by this structure-including structured positional encodings in Transformers, directional image embeddings, and symbolic modeling of sequences or grids-indicating that it could inform future deep learning model designs. We formally establish the algebraic properties of our framework and discuss efficient implementations. Finally, as our focus is theoretical, we include no experiments here and defer empirical validation to future work, which we plan to undertake.
• Abstract（参考訳）: 指向性非可換モノイド作用素上に構築された多次元合成埋め込みのための新しい代数構造を導入する。 この研究のコアコントリビューションは、現代の機械学習アーキテクチャと互換性を維持しながら、魅力的な理論的性質(各次元に沿った連想性と、グローバルな一貫性を保証する交換法則)を示す新しいフレームワークである。 我々の構成では、各軸 i に対して異なる合成演算子 circ_i を定義し、大域的な可換性を与えることなく、各軸に沿って連想結合を保証する。 重要なことに、すべての軸特異作用素は相互に通勤し、一貫した交叉軸合成を可能にする大域的交換法を強制する。 これは、我々の知る限り、古典的なシーケンスモデリングパラダイム(例えば、構造化状態空間モデル(SSM)やトランスフォーマー自己アテンション)を統一された多次元フレームワークに一般化する共通の基盤を提供する最初のアプローチである。 例えば、我々のフレームワークの特定の一次元のインスタンスは、よく知られたアフィン変換代数、バニラ自己注意、SSMスタイルの再発を回復することができる。 高次元の一般化は、埋め込み空間における再帰的構造認識操作を自然にサポートする。 本稿では,トランスフォーマーにおける構造的位置エンコーディング,指向性画像埋め込み,シーケンスやグリッドのシンボリックモデリングなど,将来的な深層学習モデル設計に影響を及ぼす可能性のあるいくつかの潜在的なアプリケーションについて概説する。 我々は,フレームワークの代数的性質を正式に確立し,効率的な実装について議論する。 最後に、理論的に焦点が当てられているので、ここでの実験は含まず、将来の作業に実証的な検証を延期します。

関連論文リスト

• MIND: Microstructure INverse Design with Generative Hybrid Neural Representation [25.55691106041371]
  マイクロマテリアルの逆設計は、特定の標的となる物理的特性を持つメタマテリアルを最適化する上で重要な役割を担っている。 本稿では,幾何学的特性と物理的特性を同時に符号化した,高度なハイブリッドニューラル表現であるHoloplaneと潜時拡散を統合した新しい生成モデルを提案する。 提案手法は,複数クラスにまたがって一般化され,多種多様なタイル状構造の生成が可能となり,特性精度が大幅に向上し,幾何的妥当性の制御が強化された。
  論文  参考訳（メタデータ） (2025-02-01T20:25:47Z)
• Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
  我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。 クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。 複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
  論文  参考訳（メタデータ） (2025-01-06T11:14:18Z)
• Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks [5.187307904567701]
  群行列 (GM) は、有限群の正規表現の現代的な概念の先駆けである。 GM は古典的 LDR 理論を一般離散群に一般化できることを示す。 我々のフレームワークは、ほぼ同変のNNや他の構造化行列ベースの手法と競合的に機能する。
  論文  参考訳（メタデータ） (2024-09-18T07:52:33Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Compositional Generalisation with Structured Reordering and Fertility Layers [121.37328648951993]
  Seq2seqモデルは構成一般化に苦しむことが示されている。 本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:51:31Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Remixing Functionally Graded Structures: Data-Driven Topology Optimization with Multiclass Shape Blending [15.558093285161775]
  本稿では,多クラス関数型構造のためのデータ駆動型フレームワークを提案する。 鍵となるのは、滑らかにグレードされたマイクロ構造を生成する新しいマルチクラス形状ブレンディング方式である。 マイクロスケールの問題を、設計を事前に定義された形状に詰め込むことなく、効率的で低次元のものに変換する。
  論文  参考訳（メタデータ） (2021-12-01T16:54:56Z)
• K\"ahler Geometry of Quiver Varieties and Machine Learning [0.0]
  我々は、フレーム表現のモジュラー空間を用いた機械学習におけるニューラルネットワークの代数幾何学的定式化を開発する。 複素射影空間から構築された多変数活性化関数に対する普遍近似定理を証明する。
  論文  参考訳（メタデータ） (2021-01-27T15:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。