論文の概要: An Information-theoretic Multi-task Representation Learning Framework for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2503.04667v1
• Date: Thu, 06 Mar 2025 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:00:47.083811
• Title: An Information-theoretic Multi-task Representation Learning Framework for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための情報理論多タスク表現学習フレームワーク
• Authors: Dou Hu, Lingwei Wei, Wei Zhou, Songlin Hu,
• Abstract要約: 本稿では,新しい多タスク表現学習フレームワーク(InfoMTL)を提案する。 すべてのタスクに対して共有表現が十分であることを保証し、冗長な機能によるネガティブな影響を軽減する。 マルチタスクパラダイムの下で、事前訓練された言語モデル(PLM)の言語理解を強化することができる。
• 参考スコア（独自算出の注目度）: 29.36409607847339
• License:
• Abstract: This paper proposes a new principled multi-task representation learning framework (InfoMTL) to extract noise-invariant sufficient representations for all tasks. It ensures sufficiency of shared representations for all tasks and mitigates the negative effect of redundant features, which can enhance language understanding of pre-trained language models (PLMs) under the multi-task paradigm. Firstly, a shared information maximization principle is proposed to learn more sufficient shared representations for all target tasks. It can avoid the insufficiency issue arising from representation compression in the multi-task paradigm. Secondly, a task-specific information minimization principle is designed to mitigate the negative effect of potential redundant features in the input for each task. It can compress task-irrelevant redundant information and preserve necessary information relevant to the target for multi-task prediction. Experiments on six classification benchmarks show that our method outperforms 12 comparative multi-task methods under the same multi-task settings, especially in data-constrained and noisy scenarios. Extensive experiments demonstrate that the learned representations are more sufficient, data-efficient, and robust.
• Abstract（参考訳）: 本稿では,全てのタスクに対して十分なノイズ不変表現を抽出するための,新しい原理的マルチタスク表現学習フレームワーク(InfoMTL)を提案する。 全てのタスクに対する共有表現の十分性を確保し、冗長な特徴の負の効果を緩和し、マルチタスクパラダイムの下で事前訓練された言語モデル(PLM)の言語理解を強化する。 まず、全てのタスクに対してより十分な共有表現を学習するために、共有情報の最大化原理を提案する。 マルチタスクパラダイムにおける表現圧縮による不十分性の問題を回避することができる。 第二に、タスク固有の情報最小化原理は、タスク毎の入力における潜在的な冗長な特徴の負の効果を軽減するように設計されている。 タスク非関連な冗長情報を圧縮し、マルチタスク予測に必要な情報をターゲットに保存することができる。 6つの分類ベンチマーク実験により,本手法は同一のマルチタスク設定下,特にデータ制約やノイズのあるシナリオにおいて,12個の比較マルチタスク法より優れていることが示された。 大規模な実験は、学習した表現がより十分で、データ効率が良く、堅牢であることを示した。

関連論文リスト

• Leveraging knowledge distillation for partial multi-task learning from multiple remote sensing datasets [2.1178416840822023]
  ターゲットタスクの1つにトレーニング例をアノテートする部分的マルチタスク学習は、リモートセンシングにおいて有望なアイデアである。 本稿では, 知識蒸留を用いて, 代替課題における基礎的真理の必要性を代替し, その性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-24T09:48:50Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Compressed Hierarchical Representations for Multi-Task Learning and Task Clustering [5.878411350387833]
  階層的表現学習問題として,同質なマルチタスク学習を考察する。 タスク非依存表現とタスク固有の潜在表現の間には,付加的な独立ノイズモデルが仮定される。 これらの結果から,MTLベンチマークの競合性能が得られた。
  論文  参考訳（メタデータ） (2022-05-31T15:31:17Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Context-Aware Multi-Task Learning for Traffic Scene Recognition in Autonomous Vehicles [10.475998113861895]
  マルチタスク学習ネットワークを採用することにより,タスク固有表現と共有表現を協調的に学習するアルゴリズムを提案する。 大規模データセットHSDの実験は、最先端手法よりもネットワークの有効性と優位性を実証している。
  論文  参考訳（メタデータ） (2020-04-03T03:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。