Fugu-MT 論文翻訳(概要): Formal Algorithms for Transformers

論文の概要: Formal Algorithms for Transformers

arxiv url: http://arxiv.org/abs/2207.09238v1
Date: Tue, 19 Jul 2022 12:49:02 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 12:57:39.174297
Title: Formal Algorithms for Transformers
Title（参考訳）: 変圧器の形式的アルゴリズム
Authors: Mary Phuong and Marcus Hutter
Abstract要約: この文書は、トランスフォーマーアーキテクチャとアルゴリズムの自己完結型、数学的に正確に概観することを目的としている。トランスフォーマーとは何か、どのようにトレーニングされているのか、何に使われているのか、重要なアーキテクチャと最も顕著なモデルのプレビューをカバーしています。
参考スコア（独自算出の注目度）: 31.39583890463588
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This document aims to be a self-contained, mathematically precise overview of transformer architectures and algorithms (*not* results). It covers what transformers are, how they are trained, what they are used for, their key architectural components, and a preview of the most prominent models. The reader is assumed to be familiar with basic ML terminology and simpler neural network architectures such as MLPs.
Abstract（参考訳）: この文書は、トランスフォーマーアーキテクチャとアルゴリズム(*not*の結果)の自己完結的で数学的に精密な概観を目指しています。トランスフォーマーとは何か、どのようにトレーニングされているのか、何に使われているのか、重要なアーキテクチャコンポーネント、最も顕著なモデルのプレビューをカバーしている。読者はMLの基本的な用語や、MLPのような単純なニューラルネットワークアーキテクチャに精通していると推測されている。

関連論文リスト

Algorithmic Capabilities of Random Transformers [49.73113518329544]
埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
論文参考訳（メタデータ） (2024-10-06T06:04:23Z)
Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文参考訳（メタデータ） (2024-10-03T21:21:02Z)
Body Transformer: Leveraging Robot Embodiment for Policy Learning [51.531793239586165]
ボディートランスフォーマー(ボディートランスフォーマー、Body Transformer、BoT)は、学習プロセスを導く誘導バイアスを提供することで、ロボットの体現性を活用するアーキテクチャである。我々はロボットの体をセンサーとアクチュエータのグラフとして表現し、建築全体を通してプール情報にマスキングされた注意を頼りにしている。結果として得られるアーキテクチャは、バニラ変換器と古典的な多層パーセプトロンを、タスク完了、スケーリング特性、計算効率の点で上回る。
論文参考訳（メタデータ） (2024-08-12T17:31:28Z)
Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
論文参考訳（メタデータ） (2024-06-13T16:42:06Z)
Quantum linear algebra is all you need for Transformer architectures [1.660288273261283]
フォールトトレラント量子コンピューティングのレンズ下でのトランスフォーマーアーキテクチャについて検討する。我々は,ソフトマックス関数の行ワイド適用のための新しいサブルーチンを用いて,自己アテンション行列のブロック符号化の仕方を示す。我々のサブルーチンは変換器出力の振幅エンコーディングを作成し、予測値を得るために測定することができる。
論文参考訳（メタデータ） (2024-02-26T16:31:28Z)
Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文参考訳（メタデータ） (2023-11-29T13:51:04Z)
An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文参考訳（メタデータ） (2023-04-20T14:54:19Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
Matching with Transformers in MELT [1.2891210250935146]
我々は、オントロジーと知識グラフマッチングに適したMELTフレームワークで簡単に使える実装を提供する。変換器をベースとしたフィルタは,ハイリコールアライメントによって適切な対応を選択するのに役立つことを示す。
論文参考訳（メタデータ） (2021-09-15T16:07:43Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。