論文の概要: The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles

• arxiv url: http://arxiv.org/abs/2306.01705v1
• Date: Fri, 2 Jun 2023 17:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 14:05:23.168281
• Title: The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles
• Title（参考訳）: 情報経路仮説:トランスフォーマーは動的自己感覚である
• Authors: Md Shamim Hussain, Mohammed J. Zaki and Dharmashankar Subramanian
• Abstract要約: 本研究では,学習中の自己注意の記憶と計算コストを4～8倍に削減できる変圧器の汎用的学習戦略を提案する。 本研究では,ネットワーク内のサブサンプリング経路からサブモデルのアンサンブルを生成できることを示す。
• 参考スコア（独自算出の注目度）: 24.52890377175555
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformers use the dense self-attention mechanism which gives a lot of flexibility for long-range connectivity. Over multiple layers of a deep transformer, the number of possible connectivity patterns increases exponentially. However, very few of these contribute to the performance of the network, and even fewer are essential. We hypothesize that there are sparsely connected sub-networks within a transformer, called information pathways which can be trained independently. However, the dynamic (i.e., input-dependent) nature of these pathways makes it difficult to prune dense self-attention during training. But the overall distribution of these pathways is often predictable. We take advantage of this fact to propose Stochastically Subsampled self-Attention (SSA) - a general-purpose training strategy for transformers that can reduce both the memory and computational cost of self-attention by 4 to 8 times during training while also serving as a regularization method - improving generalization over dense training. We show that an ensemble of sub-models can be formed from the subsampled pathways within a network, which can achieve better performance than its densely attended counterpart. We perform experiments on a variety of NLP, computer vision and graph learning tasks in both generative and discriminative settings to provide empirical evidence for our claims and show the effectiveness of the proposed method.
• Abstract（参考訳）: トランスフォーマーは、長距離接続に多くの柔軟性をもたらす、密集した自己保持機構を使用する。 ディープトランスの複数の層にまたがる接続パターンの数は指数関数的に増加する。 しかし、ネットワークのパフォーマンスに寄与するものはごくわずかであり、必要不可欠なものは少なめである。 我々は、情報経路と呼ばれるトランスフォーマーの内部に疎結合なサブネットワークが存在することを仮定する。 しかし、これらの経路の動的(すなわち入力依存的)性質は、訓練中に密着した自己集中を損なうことが困難である。 しかし、これらの経路全体の分布は予測可能であることが多い。 我々はこの事実を利用して、SSA(Stochastically Subsampled Self-Attention)を提案する。これはトランスフォーマーの汎用的なトレーニング戦略であり、トレーニング中に4～8倍のメモリと計算コストを削減できると同時に、正規化手法としても機能し、高密度トレーニングよりも一般化を改善する。 ネットワーク内のサブサンプリングされた経路から、複数のサブモデルを形成することが可能であり、密集した経路よりも優れた性能が得られることを示す。 我々は,様々なnlp,コンピュータビジョン,グラフ学習タスクにおいて,生成的および判別的設定の両方において実験を行い,クレームの実証的証拠を提供し,提案手法の有効性を示す。

関連論文リスト

• A Theory for Compressibility of Graph Transformers for Transductive Learning [6.298115235439078]
  グラフ上のトランスダクティブタスクは、典型的な教師付き機械学習タスクと根本的に異なる。 すべてのトレイン/テスト/バリデーションサンプルは、トレーニング中に存在しており、半教師付きタスクに似ています。 我々は、これらのネットワークの隠れた次元をどのように圧縮できるかという理論的な境界を定めている。
  論文  参考訳（メタデータ） (2024-11-20T04:20:17Z)
• Does learning the right latent variables necessarily improve in-context learning? [13.828665019247444]
  Transformersのような大規模な自己回帰モデルは、新しい重みを学習することなく、コンテキスト内学習(ICL)によってタスクを解決できる。 本稿では,タスクラテントを明示的に推論する効果について検討する。 タスク関連潜伏変数への偏りは、分配性能を向上させるには至らない。
  論文  参考訳（メタデータ） (2024-05-29T15:06:10Z)
• Dynamic Layer Tying for Parameter-Efficient Transformers [65.268245109828]
  トレーニング中にレイヤを選択し、それらを結びつけるために強化学習を採用しています。 これにより、重量共有が容易になり、トレーニング可能なパラメータの数を減らし、効果的な正規化技術としても機能する。 特に、トレーニング中のメモリ消費は、従来のトレーニング方法よりも1桁も少ない。
  論文  参考訳（メタデータ） (2024-01-23T14:53:20Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent [44.44543743806831]
  本研究では, トレーニング中にこれらの標準間に飽和しながら, 変圧器パラメータが大きくなる傾向について検討した。 パラメータが大きくなるにつれて、ネットワークは飽和活性化関数を持つ離散化されたネットワークに近似することが証明される。 以上の結果から,飽和はNLPに対する特定の関心のGDに暗黙的な誘導バイアスの新たな特徴であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-19T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。