論文の概要: Virtual Augmentation Supported Contrastive Learning of Sentence Representations

• arxiv url: http://arxiv.org/abs/2110.08552v1
• Date: Sat, 16 Oct 2021 11:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:00:16.183675
• Title: Virtual Augmentation Supported Contrastive Learning of Sentence Representations
• Title（参考訳）: 文表現のコントラスト学習を支援する仮想拡張
• Authors: Dejiao Zhang, Wei Xiao, Henghui Zhu, Xiaofei Ma, Andrew O. Arnold
• Abstract要約: VaSCL(Virtual Augmentation Supported Contrastive Learning of sentence representations)を提案する。 表現空間において、K-アネアレスト(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K-アネアレスト)(K- 次に、この地区内でインスタンス識別タスクを定義し、仮想的な拡張を敵の訓練方法で生成する。
• 参考スコア（独自算出の注目度）: 8.173447322401973
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite profound successes, contrastive representation learning relies on carefully designed data augmentations using domain specific knowledge. This challenge is magnified in natural language processing where no general rules exist for data augmentation due to the discrete nature of natural language. We tackle this challenge by presenting a Virtual augmentation Supported Contrastive Learning of sentence representations (VaSCL). Originating from the interpretation that data augmentation essentially constructs the neighborhoods of each training instance, we in turn utilize the neighborhood to generate effective data augmentations. Leveraging the large training batch size of contrastive learning, we approximate the neighborhood of an instance via its K-nearest in-batch neighbors in the representation space. We then define an instance discrimination task within this neighborhood, and generate the virtual augmentation in an adversarial training manner. We access the performance of VaSCL on a wide range of downstream tasks, and set a new state-of-the-art for unsupervised sentence representation learning.
• Abstract（参考訳）: 著しい成功にもかかわらず、対照的な表現学習はドメイン固有の知識を使って注意深く設計されたデータ拡張に依存している。 この課題は自然言語処理において拡大され、自然言語の離散的性質のためにデータ拡張に関する一般的な規則は存在しない。 本稿では,VaSCL(Virtual Augmentation Supported Contrastive Learning of sentence representations)を提案する。 データ拡張は、基本的に各トレーニングインスタンスの近傍を構成するという解釈から始まり、我々はその地区を利用して効果的なデータ拡張を生成する。 コントラスト学習の大規模訓練バッチサイズを活用することで、表現空間におけるk-nearest in-batch近傍を通して、インスタンスの近傍を近似する。 次に、この近傍でインスタンス識別タスクを定義し、敵対的なトレーニング方法で仮想拡張を生成します。 下流タスクにおけるVasCLの性能にアクセスし、教師なしの文表現学習のための新しい最先端技術を設定する。

関連論文リスト

• LAC: Graph Contrastive Learning with Learnable Augmentation in Continuous Space [16.26882307454389]
  直交連続空間における学習可能なデータ拡張を伴うグラフコントラスト学習フレームワークであるLACを紹介する。 拡張中にグラフデータ中の代表情報をキャプチャするために,連続的なビューオーグメンタを導入する。 本稿ではInfoBalという情報理論の原理を提案し,それに対応する前提課題を提案する。 実験の結果,LACは最先端のフレームワークよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T10:47:15Z)
• Improved Training of Mixture-of-Experts Language GANs [25.477635459508903]
  筆者らはまず, 言語GANの表現能力を高めるために, 実験用混合手法が有効であることを実証的に示す。 次に、FSA(Feature Statistics Alignment)パラダイムを用いて、きめ細かい学習信号を描画し、ジェネレータの訓練を進めます。
  論文  参考訳（メタデータ） (2023-02-23T09:25:46Z)
• Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
  本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。 実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:56:04Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)
• An Improved Semi-Supervised VAE for Learning Disentangled Representations [29.38345769998613]
  ラベルの置き換えを意味する別の監督源を導入します。 トレーニング中は、データポイントに関連付けられた推論された表現を、いつでもその接地的表現に置き換える。 我々の拡張は、理論的には、半教師付き非絡み合い学習の一般的な枠組みに着想を得たものである。
  論文  参考訳（メタデータ） (2020-06-12T20:47:41Z)
• Large-Scale Adversarial Training for Vision-and-Language Representation Learning [81.76089876263175]
  VILLAは視覚と言語(V+L)表現学習のための大規模対人訓練における最初の試みである。 VILLAは2つの訓練段階から構成される: (i) タスクに依存しない対人事前訓練、および (ii) タスク固有の対人微調整である。
  論文  参考訳（メタデータ） (2020-06-11T05:14:35Z)
• TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding [55.16953347580948]
  グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。 埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。 微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。