論文の概要: Neural Unsupervised Domain Adaptation in NLP---A Survey

• arxiv url: http://arxiv.org/abs/2006.00632v2
• Date: Wed, 28 Oct 2020 08:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 12:49:17.963703
• Title: Neural Unsupervised Domain Adaptation in NLP---A Survey
• Title（参考訳）: NLPにおけるニューラルアン教師なしドメイン適応--サーベイ
• Authors: Alan Ramponi and Barbara Plank
• Abstract要約: 本稿では,ラベル付き対象領域データを必要としないニューラルネットワークによる非教師なし領域適応手法について検討する。 我々は、初期の非神経的手法から事前訓練されたモデル伝達まで、その方法を概説する。 我々はまた、ドメインの概念を再考し、最も注目を集めた自然言語処理タスクの種類に偏りを見出した。
• 参考スコア（独自算出の注目度）: 23.104354433276246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks excel at learning from labeled data and achieve state-of-the-art resultson a wide array of Natural Language Processing tasks. In contrast, learning from unlabeled data, especially under domain shift, remains a challenge. Motivated by the latest advances, in this survey we review neural unsupervised domain adaptation techniques which do not require labeled target domain data. This is a more challenging yet a more widely applicable setup. We outline methods, from early traditional non-neural methods to pre-trained model transfer. We also revisit the notion of domain, and we uncover a bias in the type of Natural Language Processing tasks which received most attention. Lastly, we outline future directions, particularly the broader need for out-of-distribution generalization of future NLP.
• Abstract（参考訳）: ディープニューラルネットワークはラベル付きデータから学習し、さまざまな自然言語処理タスクにおける最先端の結果を達成する。 対照的に、ラベルのないデータ、特にドメインシフト下での学習は依然として課題である。 最新の進歩に動機づけられた本研究では,ラベル付き対象領域データを必要としないニューラルネットワーク非教師なし領域適応手法について検討する。 これはもっと難しいが、より広く適用可能な設定だ。 従来の非神経的手法から事前学習されたモデル伝達までの手法を概説する。 我々はまた、ドメインの概念を再考し、最も注目を集めた自然言語処理タスクの種類に偏りを見出した。 最後に,今後の方向,特に今後のNLPの配布外一般化の必要性について概説する。

関連論文リスト

• Challenges in Pre-Training Graph Neural Networks for Context-Based Fake News Detection: An Evaluation of Current Strategies and Resource Limitations [1.9870554622325414]
  本稿では,文脈に基づく偽ニュース検出の分野において,グラフニューラルネットワーク(GNN)の事前学習を適用することを提案する。 本実験は,グラフに基づく誤情報検出のための事前学習手法の評価を行う。 現在の大きな問題は、事前トレーニングに使用できる適切な大規模リソースの欠如である、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-02-28T09:10:25Z)
• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Multi-scale Feature Alignment for Continual Learning of Unlabeled Domains [3.9498537297431167]
  生成的特徴駆動のイメージリプレイとデュアル目的判別器は、リプレイのための現実的な特徴を持つ画像の生成を可能にする。 本稿では,提案手法の構成要素について詳細なアブレーション実験を行い,非教師付きパッチベースセグメンテーションタスクに対する連続的UDA法の適用可能性を示す。
  論文  参考訳（メタデータ） (2023-02-02T18:19:01Z)
• Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units [14.183224769428843]
  自然言語処理(NLP)におけるニューラルトランスファーラーニング(TL)の展開 本稿では,その効率性にも拘わらず,主な限界に悩まされている解釈手法について述べる。 本稿では,正規化,重み付け,ランダムに初期化を施した事前学習モデルの強化について提案する。
  論文  参考訳（メタデータ） (2021-06-09T09:29:11Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
  大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。 多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。 限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
  論文  参考訳（メタデータ） (2020-09-01T00:06:50Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)
• Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
  手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。 事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。 本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T16:42:17Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。