Fugu-MT 論文翻訳(概要): A Novel Spinor-Based Embedding Model for Transformers

論文の概要: A Novel Spinor-Based Embedding Model for Transformers

arxiv url: http://arxiv.org/abs/2410.00038v1
Date: Thu, 26 Sep 2024 01:18:45 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 15:19:28.355109
Title: A Novel Spinor-Based Embedding Model for Transformers
Title（参考訳）: 変圧器の新しいスピノルベース埋め込みモデル
Authors: Rick White,
Abstract要約: 幾何代数学からのスピノルを利用したトランスフォーマーモデルにおける単語埋め込みの新しい手法を提案する。スピノルは高次元空間における複雑な関係や変換を捉えることができるリッチな数学的枠組みを提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: This paper proposes a novel approach to word embeddings in Transformer models by utilizing spinors from geometric algebra. Spinors offer a rich mathematical framework capable of capturing complex relationships and transformations in high-dimensional spaces. By encoding words as spinors, we aim to enhance the expressiveness and robustness of language representations. We present the theoretical foundations of spinors, detail their integration into Transformer architectures, and discuss potential advantages and challenges.
Abstract（参考訳）: 本稿では,幾何代数学からのスピノルを利用したトランスフォーマーモデルにおける単語埋め込み手法を提案する。スピノルは高次元空間における複雑な関係や変換を捉えることができるリッチな数学的枠組みを提供する。単語をスピノルとして符号化することで,表現表現の表現性や頑健性を高めることを目指す。本稿では,スピノルの理論的基礎を提示し,トランスフォーマーアーキテクチャへの統合を詳述するとともに,潜在的な利点と課題について論じる。

関連論文リスト

Survey: Transformer-based Models in Data Modality Conversion [0.8136541584281987]
モダリティ・コンバージョン(Modality Conversion)は、人間が知覚情報を統合して解釈する方法を模倣して、ある形態の表現から別の形式へのデータの変換を行う。本稿では, テキスト, 視覚, 音声の一次モーダル性に適用されたトランスフォーマーモデルについて, アーキテクチャ, 変換手法, 応用について論じる。
論文参考訳（メタデータ） (2024-08-08T18:39:14Z)
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
論文参考訳（メタデータ） (2024-02-01T11:43:13Z)
Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文参考訳（メタデータ） (2023-11-29T13:51:04Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
The Hyperdimensional Transform: a Holographic Representation of Functions [12.693238093510072]
我々は超次元変換を新しい種類の積分変換として導入する。これは二乗可積分関数を超次元ベクトルと呼ばれるノイズローバスト、ホログラフィック、高次元表現に変換する。これは超次元コンピューティングの分野における理論的基礎と新たな洞察を提供する。
論文参考訳（メタデータ） (2023-10-24T11:33:39Z)
B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文参考訳（メタデータ） (2023-06-19T12:54:28Z)
An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文参考訳（メタデータ） (2023-04-20T14:54:19Z)
PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics [64.5726087590283]
本稿では,全6次元ローレンツ対称性に対して最大で還元された入力の集合を用いた機械学習アーキテクチャを提案する。結果として得られたネットワークは、モデル複雑さがはるかに低いにもかかわらず、既存の競合相手すべてを上回っていることを示す。
論文参考訳（メタデータ） (2022-11-01T13:36:50Z)
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文参考訳（メタデータ） (2022-03-01T17:22:31Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)
Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文参考訳（メタデータ） (2020-09-14T20:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。