論文の概要: Banach-Tarski Embeddings and Transformers
- arxiv url: http://arxiv.org/abs/2311.09387v2
- Date: Tue, 21 Nov 2023 18:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 04:04:01.192239
- Title: Banach-Tarski Embeddings and Transformers
- Title(参考訳): バナッハ・タルスキ埋め込みと変圧器
- Authors: Joshua Maher
- Abstract要約: 任意のデータ構造を高次元ベクトルに埋め込む新しい構成を導入する。
これらの埋め込みは、変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。
埋め込み次元が十分に大きい場合、これらの埋め込みは元のデータ構造にデコード可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new construction of embeddings of arbitrary recursive data
structures into high dimensional vectors. These embeddings provide an
interpretable model for the latent state vectors of transformers. We
demonstrate that these embeddings can be decoded to the original data structure
when the embedding dimension is sufficiently large. This decoding algorithm has
a natural implementation as a transformer. We also show that these embedding
vectors can be manipulated directly to perform computations on the underlying
data without decoding. As an example we present an algorithm that constructs
the embedded parse tree of an embedded token sequence using only vector
operations in embedding space.
- Abstract(参考訳): 任意の再帰的データ構造の高次元ベクトルへの埋め込みの新しい構成を導入する。
これらの埋め込みは変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。
組込み次元が十分に大きい場合には、これらの組込みを元のデータ構造にデコードできることを実証する。
この復号アルゴリズムは変換器として自然な実装を有する。
また、これらの埋め込みベクトルを直接操作して、デコードせずに基礎データ上で計算を実行することも示す。
例として,埋め込み空間におけるベクトル演算のみを用いて,埋め込みトークンシーケンスの組込み構文木を構築するアルゴリズムを提案する。
関連論文リスト
- Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。
データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。
構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T12:23:49Z) - Fast Machine Learning Method with Vector Embedding on Orthonormal Basis
and Spectral Transform [0.0]
本稿では,ユリア語でベクトルデータベースを用いて実装された単語埋め込み,テキストチャンク埋め込み,画像埋め込みの例を示す。
また,本手法を用いた教師なし学習と教師なし学習と,大規模データ量を扱う戦略についても検討した。
論文 参考訳(メタデータ) (2023-10-27T18:48:54Z) - Autoencoding for the 'Good Dictionary' of eigen pairs of the Koopman
Operator [0.0]
本論文では,深層学習手法であるディープオートエンコーダを用いて,コープマン固有ベクトルの計算に先立って,生データ上に非線形な幾何変換を行う。
高次元時系列データを扱うために、Takesの時間遅延埋め込みを前処理技術として提示する。
論文 参考訳(メタデータ) (2023-06-08T14:21:01Z) - Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。
我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。
この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文 参考訳(メタデータ) (2023-01-30T18:57:31Z) - Tracr: Compiled Transformers as a Laboratory for Interpretability [15.76027393879609]
人間の読みやすいプログラムをデコーダのみのトランスフォーマーモデルに"コンパイル"する方法を示す。
コンパイラであるTrcrは、既知の構造を持つモデルを生成する。
マルチステップアルゴリズムを実行する変換器の「重ね合わせ」について検討する。
論文 参考訳(メタデータ) (2023-01-12T14:59:19Z) - An Algorithm for Routing Vectors in Sequences [0.0]
本稿では,ベクトルの列を列挙し,指定された長さとベクトルサイズを持つ新しい列を演算するルーティングアルゴリズムを提案する。
各出力ベクトルは「ビット当たりのバン」を最大化し、入力ベクトルをより正確に予測することで、使用に対するネット利益とデータ無視に対するネットコストの差を最大化する。
論文 参考訳(メタデータ) (2022-11-20T16:20:45Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳(メタデータ) (2022-11-02T17:10:07Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳(メタデータ) (2022-08-11T22:42:24Z) - Glushkov's construction for functional subsequential transducers [91.3755431537592]
グルシコフの構成は多くの興味深い性質を持ち、トランスデューサに適用するとさらに明らかになる。
正規表現の特別な風味を導入し、効率よく$epsilon$-free 機能的次数重み付き有限状態トランスデューサに変換することができる。
論文 参考訳(メタデータ) (2020-08-05T17:09:58Z) - Sketching Transformed Matrices with Applications to Natural Language
Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文 参考訳(メタデータ) (2020-02-23T03:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。