論文の概要: Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake
News Detection
- arxiv url: http://arxiv.org/abs/2312.01006v1
- Date: Sat, 2 Dec 2023 02:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:54:17.262302
- Title: Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake
News Detection
- Title(参考訳): マルチドメインフェイクニュース検出のためのデュアルティーチャー脱バイアス蒸留フレームワーク
- Authors: Jiayang Li, Xuan Feng, Tianlong Gu, Liang Chang
- Abstract要約: 本稿では,異なる領域にまたがるバイアスを軽減するために,Dual-Teacher De-biasing Distillation framework (DTDBD)を提案する。
本研究では,非バイアスの教師に対して,非バイアスのドメイン知識を学習する際の生徒モデルを教えるために,対向的非バイアスの蒸留損失を導入する。
クリーンな教師のために、我々はドメイン知識の蒸留損失を設計し、パフォーマンスを維持しながらドメインの特徴を表現することに集中するよう学生モデルを効果的に動機づける。
- 参考スコア(独自算出の注目度): 8.018005502277694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-domain fake news detection aims to identify whether various news from
different domains is real or fake and has become urgent and important. However,
existing methods are dedicated to improving the overall performance of fake
news detection, ignoring the fact that unbalanced data leads to disparate
treatment for different domains, i.e., the domain bias problem. To solve this
problem, we propose the Dual-Teacher De-biasing Distillation framework (DTDBD)
to mitigate bias across different domains. Following the knowledge distillation
methods, DTDBD adopts a teacher-student structure, where pre-trained large
teachers instruct a student model. In particular, the DTDBD consists of an
unbiased teacher and a clean teacher that jointly guide the student model in
mitigating domain bias and maintaining performance. For the unbiased teacher,
we introduce an adversarial de-biasing distillation loss to instruct the
student model in learning unbiased domain knowledge. For the clean teacher, we
design domain knowledge distillation loss, which effectively incentivizes the
student model to focus on representing domain features while maintaining
performance. Moreover, we present a momentum-based dynamic adjustment algorithm
to trade off the effects of two teachers. Extensive experiments on Chinese and
English datasets show that the proposed method substantially outperforms the
state-of-the-art baseline methods in terms of bias metrics while guaranteeing
competitive performance.
- Abstract(参考訳): 多ドメイン偽ニュース検出は、異なるドメインからの様々なニュースが本物か偽物かを識別することを目的としており、緊急かつ重要になっている。
しかし、既存の手法はフェイクニュース検出の全体的な性能向上に特化しており、不均衡なデータが異なるドメイン、すなわちドメインバイアス問題に対して異なる処理に繋がるという事実を無視している。
この問題を解決するために、異なるドメイン間のバイアスを軽減するために、Dual-Teacher De-biasing Distillation framework (DTDBD)を提案する。
知識蒸留法に従って、DTDBDは教師-学生構造を採用し、訓練済みの大規模教師が学生モデルを指導する。
特にdtdbdは、偏りのない教師と、ドメインバイアスの軽減とパフォーマンスの維持において学生モデルを共同で指導するクリーンな教師で構成されています。
偏りのない教師に対しては,非偏りのないドメイン知識の学習において学生モデルに指導するために,逆向的脱偏り蒸留損失を導入する。
クリーンな教師のために、我々はドメイン知識の蒸留損失を設計し、パフォーマンスを維持しながらドメインの特徴を表現することに集中するよう学生モデルを効果的に動機づける。
さらに,教師2人の効果をトレードオフする運動量に基づく動的調整アルゴリズムを提案する。
中国語と英語のデータセットに対する大規模な実験により、提案手法は、競争性能を保証しつつバイアス指標の観点から最先端のベースライン法を大幅に上回ることを示した。
関連論文リスト
- AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation [33.208860361882095]
データフリー知識蒸留法(DFKD)が直接解法として登場した。
しかし、DFKDから派生したモデルを現実のアプリケーションに適用するだけで、性能が著しく低下する。
本研究では,教師の適切な知識を選択的に伝達する簡易かつ効果的なAuG-KDを提案する。
論文 参考訳(メタデータ) (2024-03-11T03:34:14Z) - Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。
まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。
次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文 参考訳(メタデータ) (2024-01-12T02:48:51Z) - Alternate Diverse Teaching for Semi-supervised Medical Image
Segmentation [64.44345656878646]
そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。
一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
論文 参考訳(メタデータ) (2023-11-29T02:44:54Z) - Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。
ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。
静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
論文 参考訳(メタデータ) (2023-11-23T11:30:54Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳(メタデータ) (2022-12-13T12:14:09Z) - Dual Correction Strategy for Ranking Distillation in Top-N Recommender
System [26.43740655635537]
本稿では,知識蒸留のための二重補正戦略について述べる。
DCDは、より効率的な方法で、教師モデルから生徒モデルにランキング情報を転送する。
実験の結果,提案手法は最先端のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-09-08T07:00:45Z) - Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with
Reliable Transfer for Cardiac Segmentation [69.09432302497116]
最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。
ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。
このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2021-01-07T05:17:38Z) - Teacher-Student Consistency For Multi-Source Domain Adaptation [28.576613317253035]
マルチソースドメイン適応(MSDA)では、モデルは複数のソースドメインのサンプルに基づいてトレーニングされ、異なるターゲットドメインの推論に使用される。
本稿では,これらの問題を緩和する新手法であるMulti-source Students Teacher (MUST)を提案する。
論文 参考訳(メタデータ) (2020-10-20T06:17:40Z) - Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for
Annotation-efficient Cardiac Segmentation [65.81546955181781]
本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。
学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。
提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
論文 参考訳(メタデータ) (2020-07-13T10:00:44Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳(メタデータ) (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。