Fugu-MT 論文翻訳(概要): Banach-Tarski Embeddings and Transformers

論文の概要: Banach-Tarski Embeddings and Transformers

arxiv url: http://arxiv.org/abs/2311.09387v1
Date: Wed, 15 Nov 2023 21:30:26 GMT
ステータス: 処理完了
システム内更新日: 2023-11-17 17:27:12.595090
Title: Banach-Tarski Embeddings and Transformers
Title（参考訳）: バナッハ・タルスキ埋め込みと変圧器
Authors: Joshua Maher
Abstract要約: 任意のデータ構造を高次元ベクトルに埋め込む新しい構成を導入する。これらの埋め込みは、変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。埋め込み次元が十分に大きい場合、これらの埋め込みは元のデータ構造にデコード可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a new construction of embeddings of arbitrary recursive data structures into high dimensional vectors. These embeddings provide an interpretable model for the latent state vectors of transformers. We demonstrate that these embeddings can be decoded to the original data structure when the embedding dimension is sufficiently large. This decoding algorithm has a natural implementation as a transformer. We also show that these embedding vectors can be manipulated directly to perform computations on the underlying data without decoding. As an example we present an algorithm that constructs the embedded parse tree of an embedded token sequence using only vector operations in embedding space.
Abstract（参考訳）: 任意の再帰的データ構造の高次元ベクトルへの埋め込みの新しい構成を導入する。これらの埋め込みは変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。組込み次元が十分に大きい場合には、これらの組込みを元のデータ構造にデコードできることを実証する。この復号アルゴリズムは変換器として自然な実装を有する。また、これらの埋め込みベクトルを直接操作して、デコードせずに基礎データ上で計算を実行することも示す。例として,埋め込み空間におけるベクトル演算のみを用いて,埋め込みトークンシーケンスの組込み構文木を構築するアルゴリズムを提案する。

関連論文リスト

Graph Transformers Dream of Electric Flow [72.06286909236827]
グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
論文参考訳（メタデータ） (2024-10-22T05:11:45Z)
Algorithmic Capabilities of Random Transformers [49.73113518329544]
埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
論文参考訳（メタデータ） (2024-10-06T06:04:23Z)
A Compiler from Array Programs to Vectorized Homomorphic Encryption [1.6216324006136673]
ホモモルフィック暗号 (HE) は、暗号化されたデータに対して安全な計算を行うための実践的な手法である。本稿では,効率的なベクトル化HEプログラムを生成するViaduct-HEを提案する。 Viaduct-HEは、効率的なHEプログラムに必要な操作と複雑なデータレイアウトの両方を生成することができる。
論文参考訳（メタデータ） (2023-11-10T16:00:00Z)
Fast Machine Learning Method with Vector Embedding on Orthonormal Basis and Spectral Transform [0.0]
本稿では,ユリア語でベクトルデータベースを用いて実装された単語埋め込み,テキストチャンク埋め込み,画像埋め込みの例を示す。また,本手法を用いた教師なし学習と教師なし学習と,大規模データ量を扱う戦略についても検討した。
論文参考訳（メタデータ） (2023-10-27T18:48:54Z)
Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文参考訳（メタデータ） (2023-01-30T18:57:31Z)
Tracr: Compiled Transformers as a Laboratory for Interpretability [15.76027393879609]
人間の読みやすいプログラムをデコーダのみのトランスフォーマーモデルに"コンパイル"する方法を示す。コンパイラであるTrcrは、既知の構造を持つモデルを生成する。マルチステップアルゴリズムを実行する変換器の「重ね合わせ」について検討する。
論文参考訳（メタデータ） (2023-01-12T14:59:19Z)
An Algorithm for Routing Vectors in Sequences [0.0]
本稿では,ベクトルの列を列挙し,指定された長さとベクトルサイズを持つ新しい列を演算するルーティングアルゴリズムを提案する。各出力ベクトルは「ビット当たりのバン」を最大化し、入力ベクトルをより正確に予測することで、使用に対するネット利益とデータ無視に対するネットコストの差を最大化する。
論文参考訳（メタデータ） (2022-11-20T16:20:45Z)
Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文参考訳（メタデータ） (2022-11-02T17:10:07Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。