論文の概要: Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection

• arxiv url: http://arxiv.org/abs/2312.01006v1
• Date: Sat, 2 Dec 2023 02:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 19:54:17.262302
• Title: Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection
• Title（参考訳）: マルチドメインフェイクニュース検出のためのデュアルティーチャー脱バイアス蒸留フレームワーク
• Authors: Jiayang Li, Xuan Feng, Tianlong Gu, Liang Chang
• Abstract要約: 本稿では,異なる領域にまたがるバイアスを軽減するために,Dual-Teacher De-biasing Distillation framework (DTDBD)を提案する。 本研究では,非バイアスの教師に対して,非バイアスのドメイン知識を学習する際の生徒モデルを教えるために,対向的非バイアスの蒸留損失を導入する。 クリーンな教師のために、我々はドメイン知識の蒸留損失を設計し、パフォーマンスを維持しながらドメインの特徴を表現することに集中するよう学生モデルを効果的に動機づける。
• 参考スコア（独自算出の注目度）: 8.018005502277694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-domain fake news detection aims to identify whether various news from different domains is real or fake and has become urgent and important. However, existing methods are dedicated to improving the overall performance of fake news detection, ignoring the fact that unbalanced data leads to disparate treatment for different domains, i.e., the domain bias problem. To solve this problem, we propose the Dual-Teacher De-biasing Distillation framework (DTDBD) to mitigate bias across different domains. Following the knowledge distillation methods, DTDBD adopts a teacher-student structure, where pre-trained large teachers instruct a student model. In particular, the DTDBD consists of an unbiased teacher and a clean teacher that jointly guide the student model in mitigating domain bias and maintaining performance. For the unbiased teacher, we introduce an adversarial de-biasing distillation loss to instruct the student model in learning unbiased domain knowledge. For the clean teacher, we design domain knowledge distillation loss, which effectively incentivizes the student model to focus on representing domain features while maintaining performance. Moreover, we present a momentum-based dynamic adjustment algorithm to trade off the effects of two teachers. Extensive experiments on Chinese and English datasets show that the proposed method substantially outperforms the state-of-the-art baseline methods in terms of bias metrics while guaranteeing competitive performance.
• Abstract（参考訳）: 多ドメイン偽ニュース検出は、異なるドメインからの様々なニュースが本物か偽物かを識別することを目的としており、緊急かつ重要になっている。 しかし、既存の手法はフェイクニュース検出の全体的な性能向上に特化しており、不均衡なデータが異なるドメイン、すなわちドメインバイアス問題に対して異なる処理に繋がるという事実を無視している。 この問題を解決するために、異なるドメイン間のバイアスを軽減するために、Dual-Teacher De-biasing Distillation framework (DTDBD)を提案する。 知識蒸留法に従って、DTDBDは教師-学生構造を採用し、訓練済みの大規模教師が学生モデルを指導する。 特にdtdbdは、偏りのない教師と、ドメインバイアスの軽減とパフォーマンスの維持において学生モデルを共同で指導するクリーンな教師で構成されています。 偏りのない教師に対しては,非偏りのないドメイン知識の学習において学生モデルに指導するために,逆向的脱偏り蒸留損失を導入する。 クリーンな教師のために、我々はドメイン知識の蒸留損失を設計し、パフォーマンスを維持しながらドメインの特徴を表現することに集中するよう学生モデルを効果的に動機づける。 さらに,教師2人の効果をトレードオフする運動量に基づく動的調整アルゴリズムを提案する。 中国語と英語のデータセットに対する大規模な実験により、提案手法は、競争性能を保証しつつバイアス指標の観点から最先端のベースライン法を大幅に上回ることを示した。

関連論文リスト

• Linear Projections of Teacher Embeddings for Few-Class Distillation [14.99228980898161]
  知識蒸留(KD)は、より大規模で複雑な教師モデルからより小さな学生モデルへ知識を移行するための有望なアプローチとして登場した。 学習埋め込み線形射影(LELP)と呼ばれる教師のモデル表現から知識を抽出する新しい手法を提案する。 Amazon ReviewsやSentiment140のような大規模NLPベンチマークの実験的な評価では、LELPはバイナリや少数クラスの問題に対する既存の最先端蒸留アルゴリズムと一貫して競合し、典型的には優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-30T16:07:34Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation [33.208860361882095]
  データフリー知識蒸留法(DFKD)が直接解法として登場した。 しかし、DFKDから派生したモデルを現実のアプリケーションに適用するだけで、性能が著しく低下する。 本研究では,教師の適切な知識を選択的に伝達する簡易かつ効果的なAuG-KDを提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:34:14Z)
• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Alternate Diverse Teaching for Semi-supervised Medical Image Segmentation [62.021828104757745]
  そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。 一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
  論文  参考訳（メタデータ） (2023-11-29T02:44:54Z)
• Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
  Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:30:54Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Dual Correction Strategy for Ranking Distillation in Top-N Recommender System [22.37864671297929]
  本稿では,知識蒸留のための二重補正戦略について述べる。 DCDは、より効率的な方法で、教師モデルから生徒モデルにランキング情報を転送する。 実験の結果,提案手法は最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T07:00:45Z)
• Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with Reliable Transfer for Cardiac Segmentation [69.09432302497116]
  最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。 ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。 このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-01-07T05:17:38Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。