論文の概要: AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2103.11332v1
• Date: Sun, 21 Mar 2021 08:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 07:28:35.142596
• Title: AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization
• Title（参考訳）: adaptsum: 抽象要約のための低リソースドメイン適応に向けて
• Authors: Tiezheng Yu, Zihan Liu, Pascale Fung
• Abstract要約: 低リソース環境下における6つの多様な対象領域の抽象的要約タスクに対する領域適応の検討について述べる。 実験により,事前学習の有効性は,事前学習データと対象領域タスクの類似度と相関することが示された。
• 参考スコア（独自算出の注目度）: 43.024669990477214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art abstractive summarization models generally rely on extensive labeled data, which lowers their generalization ability on domains where such data are not available. In this paper, we present a study of domain adaptation for the abstractive summarization task across six diverse target domains in a low-resource setting. Specifically, we investigate the second phase of pre-training on large-scale generative models under three different settings: 1) source domain pre-training; 2) domain-adaptive pre-training; and 3) task-adaptive pre-training. Experiments show that the effectiveness of pre-training is correlated with the similarity between the pre-training data and the target domain task. Moreover, we find that continuing pre-training could lead to the pre-trained model's catastrophic forgetting, and a learning method with less forgetting can alleviate this issue. Furthermore, results illustrate that a huge gap still exists between the low-resource and high-resource settings, which highlights the need for more advanced domain adaptation methods for the abstractive summarization task.
• Abstract（参考訳）: 最先端の抽象要約モデルは一般に広範なラベル付きデータに依存しているため、そのようなデータが利用できない領域での一般化能力が低下する。 本稿では,低リソース環境下での6つの対象領域間の抽象的要約タスクに対するドメイン適応について検討する。 具体的には,1)ソースドメイン事前学習,2)ドメイン適応事前学習,3)タスク適応事前学習の3つの異なる設定の下で,大規模生成モデルの事前学習の第2段階について検討する。 実験により,事前学習の有効性は,事前学習データと対象領域タスクの類似度と相関することが示された。 さらに,事前学習の継続は,事前学習モデルの破滅的な忘れ込みにつながる可能性があり,忘れることの少ない学習方法によりこの問題を軽減できることがわかった。 さらに,低リソース設定と高リソース設定の間には,依然として大きなギャップが存在することが示され,抽象的要約タスクに高度なドメイン適応法の必要性が浮き彫りにされる。

関連論文リスト

• Stratified Domain Adaptation: A Progressive Self-Training Approach for Scene Text Recognition [1.2878987353423252]
  シーンテキスト認識(STR)において、教師なしドメイン適応(UDA)がますます普及している。 本稿では,StrDA(Stratified Domain Adaptation)アプローチを導入し,学習プロセスにおける領域ギャップの段階的エスカレーションについて検討する。 本稿では,データサンプルの分布外および領域判別レベルを推定するために,領域判別器を用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T16:40:48Z)
• Prior-guided Source-free Domain Adaptation for Human Pose Estimation [24.50953879583841]
  2次元人間のポーズ推定のためのドメイン適応法は、典型的にはソースデータへの連続的なアクセスを必要とする。 我々は、人気のある平均教師フレームワークを基盤とした擬似ラベル方式である、事前指導型自己学習(POST)を提案する。
  論文  参考訳（メタデータ） (2023-08-26T20:30:04Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain Adaptation in LiDAR Semantic Segmentation by Aligning Class Distributions [9.581605678437032]
  この研究は、LiDARセマンティックセグメンテーションモデルに対する教師なしドメイン適応の問題に対処する。 我々のアプローチは、現在の最先端のアプローチの上に新しいアイデアを結合し、新しい最先端の成果をもたらす。
  論文  参考訳（メタデータ） (2020-10-23T08:52:15Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Adversarial Weighting for Domain Adaptation in Regression [4.34858896385326]
  制御ドメイン適応の文脈において、回帰タスクを処理するための新しいインスタンスベースのアプローチを提案する。 本研究では,情報源重み付け方式とタスクを1つのフィードフォワード勾配下で学習する逆ネットワークアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-15T09:44:04Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。