論文の概要: Modular Domain Adaptation
- arxiv url: http://arxiv.org/abs/2204.14213v1
- Date: Tue, 26 Apr 2022 22:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-08 23:32:34.749607
- Title: Modular Domain Adaptation
- Title(参考訳): モジュールドメイン適応
- Authors: Junshen K. Chen and Dallas Card and Dan Jurafsky
- Abstract要約: オフザシェルフモデルは感情などのテキストを測定するために広く使われている。
ソースデータへのアクセスがなければ、妥当性の脅威となるドメインシフトを考慮に入れるのは難しい。
モデル生産者とモデル消費者が協力して、より正確なテキスト測定を容易にする方法を示す。
- 参考スコア(独自算出の注目度): 31.073814047189742
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Off-the-shelf models are widely used by computational social science
researchers to measure properties of text, such as sentiment. However, without
access to source data it is difficult to account for domain shift, which
represents a threat to validity. Here, we treat domain adaptation as a modular
process that involves separate model producers and model consumers, and show
how they can independently cooperate to facilitate more accurate measurements
of text. We introduce two lightweight techniques for this scenario, and
demonstrate that they reliably increase out-of-domain accuracy on four
multi-domain text classification datasets when used with linear and contextual
embedding models. We conclude with recommendations for model producers and
consumers, and release models and replication code to accompany this paper.
- Abstract(参考訳): 市販のモデルは、感情などのテキストの性質を測定するために計算社会科学の研究者によって広く使われている。
しかし、ソースデータにアクセスできなければ、妥当性の脅威となる領域シフトを考慮に入れることは困難である。
ここでは、ドメイン適応を、モデルプロデューサとモデルコンシューマを分離したモジュラープロセスとして扱い、テキストのより正確な測定を容易にするために、独立して協調する方法を示す。
このシナリオに対して2つの軽量な手法を導入し、線形および文脈埋め込みモデルを用いて4つのマルチドメインテキスト分類データセットのドメイン外精度を確実に向上することを示した。
最後に,モデルプロデューサとコンシューマに対するレコメンデーション,および本論文に付随するリリースモデルとレプリケーションコードについて述べる。
関連論文リスト
- Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳(メタデータ) (2023-10-05T09:09:44Z) - Increasing Performance And Sample Efficiency With Model-agnostic
Interactive Feature Attributions [3.0655581300025996]
我々は,2つの一般的な説明手法(Occlusion と Shapley の値)に対して,モデルに依存しない実装を提供し,その複雑なモデルにおいて,完全に異なる属性を強制する。
提案手法は,修正された説明に基づいてトレーニングデータセットを増強することで,モデルの性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-28T15:23:28Z) - SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [66.53828093487269]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。
両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。
実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文 参考訳(メタデータ) (2023-04-06T17:36:23Z) - Style-Hallucinated Dual Consistency Learning for Domain Generalized
Semantic Segmentation [117.3856882511919]
本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。
SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-04-06T02:49:06Z) - Multiple-Source Domain Adaptation via Coordinated Domain Encoders and
Paired Classifiers [1.52292571922932]
ドメインシフトの下でのテキスト分類の新しいモデルを提案する。
更新表現を利用して、ドメインエンコーダを動的に統合する。
また、ターゲットドメインのエラー率を推測するために確率モデルも採用している。
論文 参考訳(メタデータ) (2022-01-28T00:50:01Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。
本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。
本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
論文 参考訳(メタデータ) (2020-09-16T16:56:23Z) - PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized
Embedding Models [20.62501560076402]
PERL: ピボットベースの微調整によるBERTのような文脈型単語埋め込みモデルを拡張した表現学習モデル。
PerLは22の感情分類ドメイン適応設定で強いベースラインを上回ります。
効果的に縮小サイズのモデルを生成し、モデルの安定性を高める。
論文 参考訳(メタデータ) (2020-06-16T11:14:06Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳(メタデータ) (2020-04-30T23:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。