論文の概要: Margin Discrepancy-based Adversarial Training for Multi-Domain Text Classification

• arxiv url: http://arxiv.org/abs/2403.00888v1
• Date: Fri, 1 Mar 2024 11:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:07:13.784022
• Title: Margin Discrepancy-based Adversarial Training for Multi-Domain Text Classification
• Title（参考訳）: 多領域テキスト分類のためのマージン偏差に基づく逆行訓練
• Authors: Yuan Wu
• Abstract要約: マルチドメインテキスト分類(MDTC)は、対象ドメインの分類精度を高めるために、関連ドメインから利用可能なリソースを活用する。 ほとんどのMDTCアプローチは、敵の訓練を取り入れ、共有私的パラダイムは最先端のパフォーマンスを示す。 MDTCに対する差分差に基づく対位法 (MDAT) のアプローチを理論的解析に基づいて提案する。
• 参考スコア（独自算出の注目度）: 6.629561563470492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-domain text classification (MDTC) endeavors to harness available resources from correlated domains to enhance the classification accuracy of the target domain. Presently, most MDTC approaches that embrace adversarial training and the shared-private paradigm exhibit cutting-edge performance. Unfortunately, these methods face a non-negligible challenge: the absence of theoretical guarantees in the design of MDTC algorithms. The dearth of theoretical underpinning poses a substantial impediment to the advancement of MDTC algorithms. To tackle this problem, we first provide a theoretical analysis of MDTC by decomposing the MDTC task into multiple domain adaptation tasks. We incorporate the margin discrepancy as the measure of domain divergence and establish a new generalization bound based on Rademacher complexity. Subsequently, we propose a margin discrepancy-based adversarial training (MDAT) approach for MDTC, in accordance with our theoretical analysis. To validate the efficacy of the proposed MDAT method, we conduct empirical studies on two MDTC benchmarks. The experimental results demonstrate that our MDAT approach surpasses state-of-the-art baselines on both datasets.
• Abstract（参考訳）: マルチドメインテキスト分類(MDTC)は、対象ドメインの分類精度を高めるために、関連ドメインから利用可能なリソースを活用する。 現在、敵対的トレーニングと共有プライベートパラダイムを取り入れているmdtcのアプローチの多くは最先端のパフォーマンスを示している。 残念ながらこれらの手法は、mdtcアルゴリズムの設計に理論的保証がないという、無視できない課題に直面している。 理論的基盤の喪失はMDTCアルゴリズムの進歩に重大な障害をもたらす。 この問題に対処するため,MDTCタスクを複数のドメイン適応タスクに分解することでMDTCの理論的解析を行う。 領域分割の尺度としてマージン差を組み込んで、Radecher複雑性に基づいた新しい一般化を確立する。 その後,MDTC に対する差分差に基づく対位法 (MDAT) のアプローチを理論的解析に基づいて提案する。 提案手法の有効性を検証するため,2つのMDTCベンチマークを用いて実験を行った。 実験の結果,MDATアプローチは両データセットの最先端ベースラインを超えていることがわかった。

関連論文リスト

• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• A Generalization Theory of Cross-Modality Distillation with Contrastive Learning [49.35244441141323]
  クロスモダリティ蒸留は、限られた知識を含むデータモダリティにとって重要なトピックである。 コントラスト学習に基づくクロスモーダルコントラスト蒸留(CMCD)の一般的な枠組みを定式化する。 我々のアルゴリズムは、様々なモダリティやタスクに対して、2-3%のマージンで既存のアルゴリズムを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-06T11:05:13Z)
• Regularized Conditional Alignment for Multi-Domain Text Classification [6.629561563470492]
  本稿では,正規化条件アライメント(RCA)と呼ばれる手法を提案する。 我々は、ラベルのないデータに関する予測の不確実性を抑制するために、エントロピーの最小化と仮想対位トレーニングを採用している。 2つのベンチマークデータセットによる実験結果から、我々のRCAアプローチは最先端のMDTC技術より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-18T05:52:05Z)
• MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
  そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。 提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。 我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
  論文  参考訳（メタデータ） (2023-11-14T19:53:09Z)
• Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation [7.6249291891777915]
  我々は情報理論ツールを用いて、表現学習の観点からMDA(Multi-source Domain Adaptation)の新たな分析を導出する。 本稿では,結合アライメントによる目標シフトに暗黙的に対処する,新しい深度MDAアルゴリズムを提案する。 提案アルゴリズムは、目標シフトしたMDAベンチマークの最先端性能に匹敵し、メモリ効率が向上した。
  論文  参考訳（メタデータ） (2023-04-04T18:32:20Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Deep End-to-end Causal Inference [36.822180456180675]
  因果推論は、ビジネスエンゲージメント、医療治療、ポリシー作成といった分野にわたるデータ駆動意思決定に不可欠である。 我々は、観測データを取り込む単一のフローベース手法であるDeep End-to-end Causal Inference (DECI)を開発し、因果発見と推論の両方を行う。 以上の結果から,因果発見と(C)ATE推定の両方の基準値と比較すると,DECの優れた性能を示した。
  論文  参考訳（メタデータ） (2022-02-04T15:40:28Z)
• Co-Regularized Adversarial Learning for Multi-Domain Text Classification [19.393393465837377]
  マルチドメインテキスト分類(MDTC)は、複数のドメインから利用可能なすべてのリソースを活用して、これらのドメインをうまく一般化できる予測モデルを学ぶことを目的としている。 近年,多くのMDTC手法が対向学習,共有私的パラダイム,エントロピー最小化を採用して最先端の成果を上げている。 ドメイン分割の最小化はドメインアライメントの成功を完全に保証できない、(2)限界特徴分布のアライメントは学習特徴の識別性を完全に保証できない、(3)標準エントロピーの最小化は、ラベルなしデータの予測を過度に信頼し、ディスクを劣化させる、という3つの問題に直面している。
  論文  参考訳（メタデータ） (2022-01-30T12:15:41Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。