論文の概要: PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models

• arxiv url: http://arxiv.org/abs/2006.09075v1
• Date: Tue, 16 Jun 2020 11:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:01:58.976242
• Title: PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models
• Title（参考訳）: PERL: 事前学習した深部埋め込みモデルに対するPivot-based Domain Adaptation
• Authors: Eyal Ben-David, Carmel Rabinovitz, Roi Reichart
• Abstract要約: PERL: ピボットベースの微調整によるBERTのような文脈型単語埋め込みモデルを拡張した表現学習モデル。 PerLは22の感情分類ドメイン適応設定で強いベースラインを上回ります。 効果的に縮小サイズのモデルを生成し、モデルの安定性を高める。
• 参考スコア（独自算出の注目度）: 20.62501560076402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pivot-based neural representation models have lead to significant progress in domain adaptation for NLP. However, previous works that follow this approach utilize only labeled data from the source domain and unlabeled data from the source and target domains, but neglect to incorporate massive unlabeled corpora that are not necessarily drawn from these domains. To alleviate this, we propose PERL: A representation learning model that extends contextualized word embedding models such as BERT with pivot-based fine-tuning. PERL outperforms strong baselines across 22 sentiment classification domain adaptation setups, improves in-domain model performance, yields effective reduced-size models and increases model stability.
• Abstract（参考訳）: Pivotベースのニューラル表現モデルは、NLPのドメイン適応に大きな進歩をもたらした。 しかし、このアプローチに従っている以前の作品は、ソースドメインからのラベル付きデータとソースおよびターゲットドメインからのラベルなしデータのみを使用するが、これらのドメインから必ずしも引き出されたものではない巨大なラベルなしコーパスを組み込むことを怠っている。 そこで本研究では,BERT などの文脈型単語埋め込みモデルを拡張した表現学習モデル PERL を提案する。 PERLは、22の感情分類ドメイン適応設定で強いベースラインを上回り、ドメイン内のモデル性能を改善し、効果的な縮小サイズモデルを生成し、モデルの安定性を向上させる。

関連論文リスト

• GenGMM: Generalized Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation [0.9626666671366837]
  一般化ガウス混合(GenGMM)ドメイン適応モデルを導入する。 実験は我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-21T20:21:09Z)
• Prior-guided Source-free Domain Adaptation for Human Pose Estimation [24.50953879583841]
  2次元人間のポーズ推定のためのドメイン適応法は、典型的にはソースデータへの連続的なアクセスを必要とする。 我々は、人気のある平均教師フレームワークを基盤とした擬似ラベル方式である、事前指導型自己学習(POST)を提案する。
  論文  参考訳（メタデータ） (2023-08-26T20:30:04Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Source-Free Domain Adaptive Fundus Image Segmentation with Denoised Pseudo-Labeling [56.98020855107174]
  ドメイン適応は通常、ソースドメインデータにアクセスして、ターゲットデータとのドメインアライメントのために配布情報を利用する必要があります。 多くの実世界のシナリオでは、プライバシの問題により、ターゲットドメインのモデル適応中にソースデータがアクセスできない場合がある。 本稿では,本問題に対する新たな擬似ラベル付け手法を提案する。
  論文  参考訳（メタデータ） (2021-09-19T06:38:21Z)
• Gradual Domain Adaptation via Self-Training of Auxiliary Models [50.63206102072175]
  ソースとターゲットドメイン間のギャップを増やすことで、ドメイン適応はより難しくなります。 中間領域のモデルを学習する補助モデル(AuxSelfTrain)の自己学習を提案する。 教師なしおよび半教師付きドメイン適応のベンチマークデータセットの実験は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:15:25Z)
• Source-Free Domain Adaptation for Semantic Segmentation [11.722728148523366]
  Unsupervised Domain Adaptation(UDA)は、セマンティックセグメンテーションのための畳み込みニューラルネットワークベースのアプローチがピクセルレベルの注釈付きデータに大きく依存するという課題に取り組むことができる。 そこで本稿では,十分に訓練されたソースモデルとラベルなしのターゲットドメインデータセットのみを適用可能な,意味セグメンテーションのためのソースフリーなドメイン適応フレームワークsfdaを提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:14:29Z)
• Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations [35.586031601299034]
  Unsupervised BatchNorm Adaptation (UBNA) は、与えられた事前訓練されたモデルを、目に見えないターゲットドメインに適応させる。 我々は指数的に減衰する運動量因子を用いて、正規化層統計を対象領域に部分的に適応させる。 標準的なUDAアプローチと比較して、ソースドメイン表現のパフォーマンスと利用のトレードオフを報告します。
  論文  参考訳（メタデータ） (2020-11-17T08:37:40Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。