論文の概要: On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2211.09817v1
• Date: Thu, 17 Nov 2022 13:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:17:18.720442
• Title: On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
• Title（参考訳）: 変圧器の前訓練がオフライン強化学習に及ぼす影響について
• Authors: Shiro Takagi
• Abstract要約: 本研究は,トランスフォーマーモデルからムジョコのオフライン強化学習タスクへの微調整に,言語や視覚などの異なるモーダルデータの事前学習がどのような影響を及ぼすかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We empirically investigate how pre-training on data of different modalities, such as language and vision, affects fine-tuning of Transformer-based models to Mujoco offline reinforcement learning tasks. Analysis of the internal representation reveals that the pre-trained Transformers acquire largely different representations before and after pre-training, but acquire less information of data in fine-tuning than the randomly initialized one. A closer look at the parameter changes of the pre-trained Transformers reveals that their parameters do not change that much and that the bad performance of the model pre-trained with image data could partially come from large gradients and gradient clipping. To study what information the Transformer pre-trained with language data utilizes, we fine-tune this model with no context provided, finding that the model learns efficiently even without context information. Subsequent follow-up analysis supports the hypothesis that pre-training with language data is likely to make the Transformer get context-like information and utilize it to solve the downstream task.
• Abstract（参考訳）: 言語や視覚などの異なるモダリティのデータに対する事前トレーニングが,ミュージョコオフライン強化学習タスクに対するトランスフォーマーベースのモデルの微調整に与える影響を実証的に検討する。 内部表現の分析により,事前学習前後に大きく異なる表現が得られたが,微調整時のデータ情報の取得は,ランダムに初期化したものよりも少ないことがわかった。 事前訓練されたトランスフォーマーのパラメータ変化をよく見ると、それらのパラメータはそれほど変化せず、画像データで事前訓練されたモデルの悪い性能は、部分的に大きな勾配と勾配のクリッピングから生じる可能性があることが分かる。 言語データで事前学習したトランスフォーマがどのような情報を利用するかを調べるために,文脈情報を提供しずにモデルを微調整し,文脈情報なしでも効率的に学習できることを見出した。 その後のフォローアップ分析では、言語データによる事前学習は、Transformerがコンテキストのような情報を入手し、それをダウンストリームタスクの解決に利用する、という仮説を支持している。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Nonparametric Variational Regularisation of Pretrained Transformers [15.313475675235843]
  トランスフォーマーにおけるクロスアテンションをトレーニングするためのレギュラーとして,Non Variational Information Bottleneck (NVIB)を提案する。 初期化の変更は、注意機構における新しい、情報理論的なポストトレーニング正則化をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-01T15:40:30Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Don't Sweep your Learning Rate under the Rug: A Closer Look at Cross-modal Transfer of Pretrained Transformers [1.9662978733004601]
  テキストコーパス上での大規模トランスフォーマーモデルの自己教師付き事前学習と微調整は,多くの自然言語処理タスクにおいて最先端の成果を上げている。 私たちの研究では、この結果が、実際に、学習率を調整しない成果物であることに気付きました。
  論文  参考訳（メタデータ） (2021-07-26T20:20:48Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。