論文の概要: Diversity-Based Generalization for Unsupervised Text Classification
under Domain Shift
- arxiv url: http://arxiv.org/abs/2002.10937v2
- Date: Tue, 20 Oct 2020 18:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 20:16:19.593648
- Title: Diversity-Based Generalization for Unsupervised Text Classification
under Domain Shift
- Title（参考訳）: 領域シフト下における教師なしテキスト分類の多様性に基づく一般化
- Authors: Jitin Krishnan, Hemant Purohit, and Huzefa Rangwala
- Abstract要約: 本稿では,多様性に基づく一般化の単純かつ効果的な考え方に基づく単一タスクテキスト分類問題の領域適応手法を提案する。
我々の結果は、十分な多様性を保証する機械学習アーキテクチャがより一般化できることを実証している。
- 参考スコア（独自算出の注目度）: 16.522910268114504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain adaptation approaches seek to learn from a source domain and
generalize it to an unseen target domain. At present, the state-of-the-art
unsupervised domain adaptation approaches for subjective text classification
problems leverage unlabeled target data along with labeled source data. In this
paper, we propose a novel method for domain adaptation of single-task text
classification problems based on a simple but effective idea of diversity-based
generalization that does not require unlabeled target data but still matches
the state-of-the-art in performance. Diversity plays the role of promoting the
model to better generalize and be indiscriminate towards domain shift by
forcing the model not to rely on same features for prediction. We apply this
concept on the most explainable component of neural networks, the attention
layer. To generate sufficient diversity, we create a multi-head attention model
and infuse a diversity constraint between the attention heads such that each
head will learn differently. We further expand upon our model by tri-training
and designing a procedure with an additional diversity constraint between the
attention heads of the tri-trained classifiers. Extensive evaluation using the
standard benchmark dataset of Amazon reviews and a newly constructed dataset of
Crisis events shows that our fully unsupervised method matches with the
competing baselines that uses unlabeled target data. Our results demonstrate
that machine learning architectures that ensure sufficient diversity can
generalize better; encouraging future research to design ubiquitously usable
learning models without using unlabeled target data.
- Abstract（参考訳）: ドメイン適応アプローチは、ソースドメインから学び、未認識のターゲットドメインに一般化することを求める。
現在、主観的テキスト分類問題に対する最先端の教師なしドメイン適応アプローチは、ラベル付きソースデータとともにラベル付きターゲットデータを活用する。
本稿では,ラベル付き対象データを必要とせず,性能の最先端にマッチする多様性に基づく一般化の単純かつ効果的な考え方に基づく,単タスクテキスト分類問題のドメイン適応手法を提案する。
多様性はモデルをより一般化し、予測のために同じ機能に依存しないようにモデルを強制することによって、ドメインシフトに対して無差別になるように促進する役割を担います。
この概念をニューラルネットワークの最も説明しやすいコンポーネントである注目層に適用する。
十分な多様性を生み出すために,多頭注意モデルを作成し,各頭部が異なる学習を行うように,注目頭部間の多様性制約を付与する。
トリトレーニングされた分類器のアテンションヘッド間の追加の多様性制約を持つ手順を設計し、トリトレーニングによるモデルをさらに拡張する。
amazon reviewsの標準ベンチマークデータセットと新たに構築された危機イベントのデータセットを用いた広範囲な評価は、完全に教師なしのメソッドが、ラベルなしのターゲットデータを使用する競合ベースラインと一致していることを示しています。
この結果から、十分な多様性を保証する機械学習アーキテクチャがより一般化できることが示され、未ラベルのターゲットデータを用いることなく、ユビキタスに利用可能な学習モデルを設計するよう将来の研究を奨励する。
関連論文リスト
- Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Polycentric Clustering and Structural Regularization for Source-free
Unsupervised Domain Adaptation [20.952542421577487]
Source-Free Domain Adaptation (SFDA)は、訓練済みのソースモデルから学習した知識を未確認のターゲットドメインに転送することで、ドメイン適応問題を解決することを目的としている。
既存のほとんどのメソッドは、機能プロトタイプを生成することによって、ターゲットデータに擬似ラベルを割り当てる。
本稿では,PCSRと命名された新しいフレームワークを,クラス内多中心クラスタリングおよび構造規則化戦略を通じてSFDAに取り組むために提案する。
論文 参考訳（メタデータ） (2022-10-14T02:20:48Z) - Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with
Point Supervision via Active Selection [81.703478548177]
セマンティックセグメンテーションに特化したトレーニングモデルは、大量のピクセル単位のアノテートデータを必要とする。
教師なしドメイン適応手法は、ラベル付きソースとラベルなしターゲットデータとの間の特徴分布の整合化を目的としている。
以前の研究は、対象データにスパース単一ピクセルアノテーションという形で、人間のインタラクションをこのプロセスに含めようと試みていた。
アクティブな選択による注釈付きポイントを用いた意味的セグメンテーションのための新しいドメイン適応フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-01T01:52:28Z) - Deep face recognition with clustering based domain adaptation [57.29464116557734]
そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。
本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
論文 参考訳（メタデータ） (2022-05-27T12:29:11Z) - On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain
Adaptation [6.2200089460762085]
マルチソースフリードメイン適応(MSFDA)の方法は、典型的には、ソースモデルによって生成された擬似ラベル付きデータを使用してターゲットモデルを訓練する。
得られた対象モデルの一般化誤差に基づく情報理論境界を開発する。
次に、ドメインアグリゲーション、選択的な擬似ラベル付け、共同機能アライメントといった3つの視点から、このトレードオフのバランスをとる方法についての洞察を提供します。
論文 参考訳（メタデータ） (2022-02-01T22:34:18Z) - Unsupervised domain adaptation with non-stochastic missing data [0.6608945629704323]
対象領域に欠落するデータが存在する場合の分類問題に対する教師なし領域適応(UDA)について検討する。
命令はドメイン不変の潜在空間で実行され、完全なソースドメインからの間接的な監視を利用する。
データセットの適応、分類、計算を共同で行う利点を示す。
論文 参考訳（メタデータ） (2021-09-16T06:37:07Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳（メタデータ） (2021-06-21T18:21:09Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳（メタデータ） (2020-09-01T00:06:50Z) - Enlarging Discriminative Power by Adding an Extra Class in Unsupervised
Domain Adaptation [5.377369521932011]
新たに人工的なクラスを追加し、新しいクラスのGAN生成サンプルとともにデータ上でモデルをトレーニングする。
私たちのアイデアは、DANN、VADA、DIRT-Tといった既存のメソッドと互換性がある、非常に一般的なものです。
論文 参考訳（メタデータ） (2020-02-19T07:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。