論文の概要: Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for
Domain Adaptation on Text Classification
- arxiv url: http://arxiv.org/abs/2308.02746v1
- Date: Fri, 4 Aug 2023 23:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 18:57:46.198174
- Title: Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for
Domain Adaptation on Text Classification
- Title(参考訳): メタタリスエントロピー最小化:テキスト分類に基づくドメイン適応のための新しい自己学習手法
- Authors: Menglong Lu, Zhen Huang, Zhiliang Tian, Yunxiang Zhao, Xuanyu Fei and
Dongsheng Li
- Abstract要約: 本稿ではメタ・タリス・エントロピー最小化(MTEM)を提案する。これはメタ学習アルゴリズムを適用し、ターゲット領域上でのインスタンス適応型Tsallis Entropyを最適化する。
MTEMはBERTの適応性能をベンチマークデータセット上で平均4%改善する。
- 参考スコア(独自算出の注目度): 16.672080152999758
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Text classification is a fundamental task for natural language processing,
and adapting text classification models across domains has broad applications.
Self-training generates pseudo-examples from the model's predictions and
iteratively trains on the pseudo-examples, i.e., minimizes the loss on the
source domain and the Gibbs entropy on the target domain. However, Gibbs
entropy is sensitive to prediction errors, and thus, self-training tends to
fail when the domain shift is large. In this paper, we propose Meta-Tsallis
Entropy minimization (MTEM), which applies a meta-learning algorithm to
optimize the instance adaptive Tsallis entropy on the target domain. To reduce
the computation cost of MTEM, we propose an approximation technique to
approximate the Second-order derivation involved in the meta-learning. To
efficiently generate pseudo labels, we propose an annealing sampling mechanism
for exploring the model's prediction probability. Theoretically, we prove the
convergence of the meta-learning algorithm in MTEM and analyze the
effectiveness of MTEM in achieving domain adaptation. Experimentally, MTEM
improves the adaptation performance of BERT with an average of 4 percent on the
benchmark dataset.
- Abstract(参考訳): テキスト分類は自然言語処理の基本的なタスクであり、ドメイン間のテキスト分類モデルの適用には幅広い応用がある。
自己学習はモデルの予測から擬似例を生成し、擬似例、すなわちソースドメインの損失とターゲットドメインのギブスエントロピーを最小化する。
しかし、ギブスエントロピーは予測誤差に敏感であるため、ドメインシフトが大きいと自己学習が失敗する傾向がある。
本稿では,メタ学習アルゴリズムを適用し,対象領域におけるインスタンス適応型tsallisエントロピーを最適化するメタtsallisエントロピー最小化(mtem)を提案する。
MTEMの計算コストを削減するため,メタラーニングに関わる2階微分を近似する近似手法を提案する。
擬似ラベルを効率的に生成するために,モデルの予測確率を探索するアニーリングサンプリング機構を提案する。
理論的には、メタ学習アルゴリズムのMTEMへの収束を証明し、ドメイン適応の実現におけるMTEMの有効性を分析する。
実験的に、MTEMはBERTの適応性能をベンチマークデータセット上で平均4%改善する。
関連論文リスト
- Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training [5.9631503543049895]
テスト時ドメイン適応は、推論中に制限された未ラベルのターゲットデータに事前訓練されたモデルを適用することを目的とした、困難なタスクである。
本稿では,バッチ正規化レイヤ上でのテスト時間トレーニングを行うためのメタラーニングミニマックスフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-02T16:16:05Z) - Enhanced Online Test-time Adaptation with Feature-Weight Cosine Alignment [7.991720491452191]
オンラインテスト時間適応(OTTA)は、分散シフトを扱う効果的な戦略として登場した。
本稿では,双対目的損失関数を用いたコサインアライメント最適化手法を提案する。
提案手法は最先端技術より優れ,複数のデータセットに新しいベンチマークを設定できる。
論文 参考訳(メタデータ) (2024-05-12T05:57:37Z) - Weakly supervised covariance matrices alignment through Stiefel matrices
estimation for MEG applications [64.20396555814513]
本稿では,Mixing Model Stiefel Adaptation (MSA)と呼ばれる時系列データに対する新しいドメイン適応手法を提案する。
我々は、ドメイン間の等価な信号分散とペアの対応を確立することにより、ターゲット領域における豊富なラベルのないデータを利用して効果的な予測を行う。
MSAは、Cam-CANデータセットのMEG信号を用いて、タスクの変動を伴う脳年齢回帰の最近の手法より優れている。
論文 参考訳(メタデータ) (2024-01-24T19:04:49Z) - Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。
提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-12-19T15:34:52Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for
Domain Adaptation [20.697905456202754]
ドメイン適応のための新しい自己学習フレームワーク、すなわちドメイン逆学習強化自己学習フレームワーク(DaMSTF)を提案する。
DaMSTFはメタラーニングによって各擬似インスタンスの重要性を推定し、ラベルノイズを同時に低減し、ハードサンプルを保存する。
DaMSTFはBERTの性能を平均4%近く改善する。
論文 参考訳(メタデータ) (2023-08-05T00:14:49Z) - Threshold-adaptive Unsupervised Focal Loss for Domain Adaptation of
Semantic Segmentation [25.626882426111198]
意味的セグメンテーションのための教師なしドメイン適応(UDA)は近年研究の注目を集めている。
本稿では,セマンティックセグメンテーションのための2段階エントロピーに基づくUDA手法を提案する。
本稿では,DeepLabV2を用いたSynTHIA-to-CityscapesとGTA5-to-Cityscapesにおける最先端の58.4%と59.6%のmIoUと,軽量BiSeNetを用いた競合性能を実現する。
論文 参考訳(メタデータ) (2022-08-23T03:48:48Z) - Adapting the Mean Teacher for keypoint-based lung registration under
geometric domain shifts [75.51482952586773]
ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。
本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。
本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
論文 参考訳(メタデータ) (2022-07-01T12:16:42Z) - B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic
Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。
分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文 参考訳(メタデータ) (2021-01-01T09:19:48Z) - Meta-learning framework with applications to zero-shot time-series
forecasting [82.61728230984099]
この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。
残余接続はメタラーニング適応機構として機能する。
我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
論文 参考訳(メタデータ) (2020-02-07T16:39:43Z) - A Simple Baseline to Semi-Supervised Domain Adaptation for Machine
Translation [73.3550140511458]
State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。
NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。
このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
論文 参考訳(メタデータ) (2020-01-22T16:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。