論文の概要: When can transformers reason with abstract symbols?
- arxiv url: http://arxiv.org/abs/2310.09753v1
- Date: Sun, 15 Oct 2023 06:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 18:18:56.466118
- Title: When can transformers reason with abstract symbols?
- Title(参考訳): トランスフォーマーはいつ抽象記号で推論できるのか?
- Authors: Enric Boix-Adsera and Omid Saremi and Emmanuel Abbe and Samy Bengio
and Etai Littwin and Joshua Susskind
- Abstract要約: 抽象記号を含む関係推論タスクにおける変換器大言語モデル(LLM)の機能について検討する。
i)回帰タスクの場合、トランスフォーマーはトレーニング時に一般化するが、驚くべきほど大量のトレーニングデータを必要とすることが証明される。
二) 記号ラベル付き次トーケン予測タスクに対しては、「逆スケーリング法則」が示される: 変換器は埋め込み次元が増加するにつれて一般化に失敗する。
- 参考スコア(独自算出の注目度): 27.160978515105533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the capabilities of transformer large language models (LLMs)
on relational reasoning tasks involving abstract symbols. Such tasks have long
been studied in the neuroscience literature as fundamental building blocks for
more complex abilities in programming, mathematics, and verbal reasoning. For
(i) regression tasks, we prove that transformers generalize when trained, but
require astonishingly large quantities of training data. For (ii)
next-token-prediction tasks with symbolic labels, we show an "inverse scaling
law": transformers fail to generalize as their embedding dimension increases.
For both settings (i) and (ii), we propose subtle transformer modifications
which can reduce the amount of data needed by adding two trainable parameters
per head.
- Abstract(参考訳): 抽象記号を含む関係推論タスクにおけるトランスフォーマティブ大言語モデル(llms)の機能について検討する。
このようなタスクは、プログラミング、数学、言語推論におけるより複雑な能力の基本的な構成要素として、神経科学の文献で長い間研究されてきた。
のために
(i)回帰タスクでは,トランスフォーマはトレーニング時に一般化するが,驚くほど大量のトレーニングデータを必要とすることが証明される。
のために
(ii) シンボリックラベル付き次の予測タスクでは、トランスフォーマは埋め込み次元が増加するにつれて一般化しない「逆スケーリング則」を示す。
両方の設定
(i)および
(II) 頭部に2つのトレーニング可能なパラメータを加えることで、必要なデータ量を削減できる微妙なトランスフォーマー修正を提案する。
関連論文リスト
- How do Transformers perform In-Context Autoregressive Learning? [65.92202218348696]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳(メタデータ) (2024-02-08T16:24:44Z) - Benefits of Transformer: In-Context Learning in Linear Regression Tasks
with Unstructured Data [24.1488081067319]
コンテクスト内学習を容易にする変圧器の正確なコンポーネントについて検討する。
本稿では,2層のソフトマックス(自己)アテンションを持つトランスフォーマーが,各例に$x_i$のトークンに$y_i$がある場合のプロンプトから学習できることを観察する。
論文 参考訳(メタデータ) (2024-02-01T16:39:45Z) - An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。
本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文 参考訳(メタデータ) (2023-04-20T14:54:19Z) - What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
変圧器は自己注意を用いて対関係を抽出することができる。
優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。
Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。
TokenPropの正規化対象は、標準トレーニング体制で採用されている。
論文 参考訳(メタデータ) (2022-12-21T15:51:43Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - Pretrained Language Models are Symbolic Mathematics Solvers too! [1.9240537487954366]
変圧器のような大規模言語モデルは普遍的であり、複雑な方程式を解くためのシーケンス・ツー・シーケンス・タスクとして訓練することができる。
本稿では,まず言語翻訳による変圧器モデルの事前学習を行い,次に事前学習した変圧器モデルの微調整を行い,記号数学の下流課題を解決することで,記号処理の効率的な解法を提案する。
論文 参考訳(メタデータ) (2021-10-07T14:37:06Z) - On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。
硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文 参考訳(メタデータ) (2021-06-30T17:09:47Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳(メタデータ) (2021-06-04T04:04:10Z) - THG: Transformer with Hyperbolic Geometry [8.895324519034057]
X-former"モデルは、自己注意の2次時間とメモリの複雑さにのみ変更を加える。
ユークリッド空間と双曲空間の両方の利点を生かした,双曲幾何モデル(THG)を提案する。
論文 参考訳(メタデータ) (2021-06-01T14:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。