論文の概要: Learning for Expressive Task-Related Sentence Representations

• arxiv url: http://arxiv.org/abs/2205.12186v1
• Date: Tue, 24 May 2022 16:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:37:11.681586
• Title: Learning for Expressive Task-Related Sentence Representations
• Title（参考訳）: 表現型タスク関連文表現の学習
• Authors: Xueying Bai, Jinghuan Shang, Yifan Sun, Niranjan Balasubramanian
• Abstract要約: 教師付きタスクの表現表現を学習する。 まず,入力中のラベルトークン空間を明示的に指摘する新たな目的を提案する。 次に、凍結した事前学習モデルに付加された隣接注意モジュールを開発し、隣人を介してラベル/文トークン間の接続を構築する。
• 参考スコア（独自算出の注目度）: 16.177180198865848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP models learn sentence representations for downstream tasks by tuning a model which is pre-trained by masked language modeling. However, after tuning, the learned sentence representations may be skewed heavily toward label space and thus are not expressive enough to represent whole samples, which should contain task-related information of both sentence inputs and labels. In this work, we learn expressive sentence representations for supervised tasks which (1). contain task-related information in the sentence inputs, and (2). enable correct label predictions. To achieve this goal, we first propose a new objective which explicitly points out the label token space in the input, and predicts categories of labels via an added [MASK] token. This objective encourages fusing the semantic information of both the label and sentence. Then we develop a neighbor attention module, added on a frozen pre-trained model, to build connections between label/sentence tokens via their neighbors. The propagation can be further guided by the regularization on neighborhood representations to encourage expressiveness. Experimental results show that, despite tuning only 5% additional parameters over a frozen pre-trained model, our model can achieve classification results comparable to the SOTA while maintaining strong expressiveness as well.
• Abstract（参考訳）: NLPモデルは、マスク付き言語モデリングによって事前訓練されたモデルを調整することで、下流タスクのための文表現を学習する。 しかし、チューニング後、学習された文表現はラベル空間に対して大きく歪められるため、文入力とラベルの両方のタスク関連情報を含むようなサンプル全体を表現するには十分表現力に乏しい。 本研究では,(1)教師付きタスクに対して表現的文表現を学習する。 文入力にタスク関連の情報が含まれ、(2) 正しいラベル予測を可能にする。 この目的を達成するために、まず、入力中のラベルトークン空間を明示的に指摘し、[MASK]トークンを追加してラベルのカテゴリを予測する新しい目的を提案する。 この目的はラベルと文の両方の意味情報を融合させることを奨励する。 次に,凍った事前学習モデルに付加した隣り合うアテンションモジュールを開発し,隣人を介してラベル/センテンストークン間の接続を構築する。 伝播は、表現性を促進するために近隣表現の正規化によってさらに導かれる。 実験結果から, 凍結事前学習モデルに対して5%のパラメータを調整するだけで, 高い表現性を維持しつつ, SOTAに匹敵する分類結果が得られることがわかった。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
  標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
  論文  参考訳（メタデータ） (2024-01-04T06:46:19Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Provable and Efficient Continual Representation Learning [40.78975699391065]
  連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。 我々は、新しいタスクが到着するにつれて進化する表現を学習する連続表現学習の課題について研究する。 初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合,CLのメリットが示される。
  論文  参考訳（メタデータ） (2022-03-03T21:23:08Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。