論文の概要: Position Prediction as an Effective Pretraining Strategy

• arxiv url: http://arxiv.org/abs/2207.07611v1
• Date: Fri, 15 Jul 2022 17:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 13:39:15.691438
• Title: Position Prediction as an Effective Pretraining Strategy
• Title（参考訳）: 効果的な事前訓練戦略としての位置予測
• Authors: Shuangfei Zhai, Navdeep Jaitly, Jason Ramapuram, Dan Busbridge, Tatiana Likhomanenko, Joseph Yitan Cheng, Walter Talbott, Chen Huang, Hanlin Goh, Joshua Susskind
• Abstract要約: 本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。 提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
• 参考スコア（独自算出の注目度）: 20.925906203643883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have gained increasing popularity in a wide range of applications, including Natural Language Processing (NLP), Computer Vision and Speech Recognition, because of their powerful representational capacity. However, harnessing this representational capacity effectively requires a large amount of data, strong regularization, or both, to mitigate overfitting. Recently, the power of the Transformer has been unlocked by self-supervised pretraining strategies based on masked autoencoders which rely on reconstructing masked inputs, directly, or contrastively from unmasked content. This pretraining strategy which has been used in BERT models in NLP, Wav2Vec models in Speech and, recently, in MAE models in Vision, forces the model to learn about relationships between the content in different parts of the input using autoencoding related objectives. In this paper, we propose a novel, but surprisingly simple alternative to content reconstruction~-- that of predicting locations from content, without providing positional information for it. Doing so requires the Transformer to understand the positional relationships between different parts of the input, from their content alone. This amounts to an efficient implementation where the pretext task is a classification problem among all possible positions for each input token. We experiment on both Vision and Speech benchmarks, where our approach brings improvements over strong supervised training baselines and is comparable to modern unsupervised/self-supervised pretraining methods. Our method also enables Transformers trained without position embeddings to outperform ones trained with full position information.
• Abstract（参考訳）: トランスフォーマーは、自然言語処理(NLP)、コンピュータビジョン(英語版)、音声認識など、その強力な表現能力のために、幅広いアプリケーションで人気が高まっている。 しかし、この表現能力を効果的に活用するには、過剰適合を軽減するために大量のデータ、強力な正規化、あるいは両方が必要である。 近年、トランスフォーマーのパワーは、マスクされた入力を直接、あるいは対照的に非マスクされたコンテンツから再構成するマスク付きオートエンコーダに基づく自己教師型事前学習戦略によって解放されている。 NLPのBERTモデル、音声のWav2Vecモデル、そして最近ではビジョンのMAEモデルで使われているこの事前学習戦略は、自動エンコード関連目的を用いて入力の異なる部分のコンテンツ間の関係について学習するようモデルを強制する。 本稿では,コンテンツからの位置を推定する手法として,位置情報の提供を伴わずに,新しい,しかし驚くほどシンプルなコンテント再構成代替案を提案する。 そのためには、トランスフォーマは、入力の異なる部分間の位置関係を、コンテンツのみから理解する必要がある。 これは、pretextタスクが各入力トークンの可能なすべての位置の分類問題である効率的な実装に相当します。 我々は、ビジョンとスピーチのベンチマークの両方で実験を行い、我々のアプローチは、強い教師付きトレーニングベースラインよりも改善をもたらし、現代の教師なし/自己教師付き事前学習手法に匹敵する。 また, 位置埋め込みを使わずにトレーニングしたトランスフォーマーを, 全位置情報でトレーニングしたトランスフォーマーよりも優れる。

関連論文リスト

• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• On the Perturbed States for Transformed Input-robust Reinforcement Learning [24.11603621594292]
  強化学習 (Reinforcement Learning, RL) エージェントは、展開中の入力観察において、敵の摂動に対する脆弱性を示す。 我々は、堅牢なRLエージェントの学習に変換に基づく防御を適用するための2つの原則を紹介した。 複数のMuJoCo環境の実験では、入力変換ベースの防御が複数の敵に対して防御されていることが示されている。
  論文  参考訳（メタデータ） (2024-07-31T05:31:28Z)
• Learning Expressive Prompting With Residuals for Vision Transformers [11.342913284654706]
  視覚変換器(ViT)の有効適応に特化して学習パラダイムを改良したEXPRES(Expressive Prompts with Residuals)を提案する。 本手法は,VTABベンチマークの3/3カテゴリにおいて,画像分類,少ないショット学習,セマンティックセマンティックセマンティックセマンティクスにEXPRESを適用した。
  論文  参考訳（メタデータ） (2023-03-27T20:47:01Z)
• ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents [3.9688530261646653]
  歴史的文書におけるキーワードスポッティング(KWS)は、デジタル化されたコレクションを最初に探究するための重要なツールである。 マスク・アンド・予測パラダイムに基づく視覚変換器をベースとしたマスク付き自動エンコーダモデルST-KeySを提案する。 微調整段階において、事前訓練されたエンコーダは、入力画像から特徴埋め込みを改善するために微調整されたサイムズニューラルネットワークモデルに統合される。
  論文  参考訳（メタデータ） (2023-03-06T13:39:41Z)
• ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification [42.95038619688867]
  ASiTは、グループマスク付きモデル学習と自己蒸留を用いて、局所的およびグローバルな文脈情報をキャプチャする、新しい自己教師型学習フレームワークである。 我々は、音声イベント分類、キーワードスポッティング、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。
  論文  参考訳（メタデータ） (2022-11-23T18:21:09Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Parameter Efficient Multimodal Transformers for Video Representation Learning [108.8517364784009]
  本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。 このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。 本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
  論文  参考訳（メタデータ） (2020-12-08T00:16:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。