論文の概要: What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks

• arxiv url: http://arxiv.org/abs/2404.01601v1
• Date: Tue, 2 Apr 2024 02:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 18:08:16.149800
• Title: What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks
• Title（参考訳）: 変圧器は潜伏深度で何が学べるか : シーケンス学習課題を事例として
• Authors: Xingwu Chen, Difan Zou,
• Abstract要約: 注意層が1つしかない変圧器は記憶に優れるが、他のタスクでは不足する。 単一注意層が実行可能な単純な操作のクラスを特定し、これらの単純な操作の組み合わせとして、複雑なタスクがアプローチ可能であることを示す。
• 参考スコア（独自算出の注目度）: 15.874604623294427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the capabilities of the transformer architecture with varying depth. Specifically, we designed a novel set of sequence learning tasks to systematically evaluate and comprehend how the depth of transformer affects its ability to perform memorization, reasoning, generalization, and contextual generalization. We show a transformer with only one attention layer can excel in memorization but falls short in other tasks. Then, we show that exhibiting reasoning and generalization ability requires the transformer to have at least two attention layers, while context generalization ability may necessitate three attention layers. Additionally, we identify a class of simple operations that a single attention layer can execute, and show that the complex tasks can be approached as the combinations of these simple operations and thus can be resolved by stacking multiple attention layers. This sheds light on studying more practical and complex tasks beyond our design. Numerical experiments corroborate our theoretical findings.
• Abstract（参考訳）: 本研究では, 変圧器アーキテクチャの機能について, 様々な深さで検討する。 具体的には,変圧器の深さが記憶,推論,一般化,文脈一般化の能力にどのように影響するかを体系的に評価し,理解するための新しいシーケンス学習タスクを設計した。 注意層が1つしかない変圧器は記憶に優れるが、他のタスクでは不足する。 そして, 推論と一般化能力を示すためには, 少なくとも2つの注意層を持つ必要がある一方で, 文脈一般化能力は3つの注意層を必要とする可能性があることを示す。 さらに、単一注意層が実行可能な単純な操作のクラスを特定し、これらの単純な操作の組み合わせとして複雑なタスクにアプローチできることを示し、複数の注意層を積み重ねることによって解決できることを示す。 これは私たちのデザインを超えて、より実用的で複雑なタスクを研究することに光を当てています。 数値実験は理論的な結果を裏付けるものだ。

関連論文リスト

• Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers [0.0]
  最小限の層数を持つ変圧器でのみ解決できる単純な推論タスクである検索問題を紹介します。 大規模な言語モデルは、微調整をせずに、異なるプロンプト式でタスクを解くことができることを実証する。 学習の成功は暗黙のカリキュラムの存在下でのみ起こります。
  論文  参考訳（メタデータ） (2024-11-18T23:12:13Z)
• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 我々は、より複雑な概念が一般的により深い層で取得されることを示すために、概念深さの概念を紹介します。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks [6.525090891505941]
  我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。 両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。 これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
  論文  参考訳（メタデータ） (2022-10-02T00:46:36Z)
• Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
  我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。 一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。 このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
  論文  参考訳（メタデータ） (2022-06-09T06:30:17Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Evolving Attention with Residual Convolutions [29.305149185821882]
  本稿では,変圧器の性能向上を目的とした新しいメカニズムを提案する。 提案された注意メカニズムは、複数のタスクに対する様々な最新モデルに対する大幅なパフォーマンス改善を実現する。
  論文  参考訳（メタデータ） (2021-02-20T15:24:06Z)
• Multi-Head Attention: Collaborate Instead of Concatenate [85.71058762269374]
  我々は,頭部が共有投影を学習できる,協調的な多面的アテンション層を提案する。 実験により、キー/クエリの次元の共有は言語理解、機械翻訳、ビジョンに活用できることを確認した。
  論文  参考訳（メタデータ） (2020-06-29T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。