論文の概要: Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning

• arxiv url: http://arxiv.org/abs/2404.15704v1
• Date: Wed, 24 Apr 2024 07:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:49:56.993269
• Title: Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning
• Title（参考訳）: 逆相補表現学習を用いた効率的な多モデル融合
• Authors: Zuheng Kang, Yayun He, Jianzong Wang, Junqing Peng, Jing Xiao,
• Abstract要約: 単一モデルシステムは、話者検証(SV)や画像分類といったタスクにおいて、しばしば欠陥に悩まされる。 本稿では、新たに訓練されたモデルが以前取得した知識を回避できる逆相補表現学習(ACoRL)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.393644289860084
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Single-model systems often suffer from deficiencies in tasks such as speaker verification (SV) and image classification, relying heavily on partial prior knowledge during decision-making, resulting in suboptimal performance. Although multi-model fusion (MMF) can mitigate some of these issues, redundancy in learned representations may limits improvements. To this end, we propose an adversarial complementary representation learning (ACoRL) framework that enables newly trained models to avoid previously acquired knowledge, allowing each individual component model to learn maximally distinct, complementary representations. We make three detailed explanations of why this works and experimental results demonstrate that our method more efficiently improves performance compared to traditional MMF. Furthermore, attribution analysis validates the model trained under ACoRL acquires more complementary knowledge, highlighting the efficacy of our approach in enhancing efficiency and robustness across tasks.
• Abstract（参考訳）: 単一モデルシステムは、話者検証(SV)や画像分類といったタスクの欠如に悩まされ、意思決定時に部分的な事前知識に大きく依存する。 マルチモデル融合(MMF)はこれらの問題のいくつかを軽減することができるが、学習された表現の冗長性は改善を制限する可能性がある。 そこで本稿では,新たにトレーニングされたモデルに対して,事前取得した知識を回避し,各コンポーネントモデルに対して,最大で相補的表現の学習を可能にする,対向的補完的表現学習(ACoRL)フレームワークを提案する。 提案手法は従来のMMFよりも効率よく性能を向上することを示す。 さらに、属性分析により、ACoRLの下で訓練されたモデルがより補完的な知識を獲得し、タスク間の効率性と堅牢性を高めるためのアプローチの有効性を強調した。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Using Part-based Representations for Explainable Deep Reinforcement Learning [30.566205347443113]
  深層強化学習におけるアクターモデルに対する非負のトレーニング手法を提案する。 本稿では,よく知られたCartpoleベンチマークを用いて提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-08-21T09:21:59Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Enhancing Fairness and Performance in Machine Learning Models: A Multi-Task Learning Approach with Monte-Carlo Dropout and Pareto Optimality [1.5498930424110338]
  本研究では,モデル不確実性を利用した機械学習におけるバイアス軽減手法を提案する。 提案手法では,モンテカルロ・ドロップアウト(MC)と組み合わせたマルチタスク学習(MTL)フレームワークを用いて,保護ラベルに関連する予測の不確実性を評価・緩和する。
  論文  参考訳（メタデータ） (2024-04-12T04:17:50Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Improving the Modality Representation with Multi-View Contrastive Learning for Multimodal Sentiment Analysis [15.623293264871181]
  コントラスト学習によるモダリティ表現の改良手法について検討した。 我々は,多視点コントラスト学習を用いた3段階のフレームワークを考案し,特定の目的の表現を洗練させる。 3つのオープンデータセットで実験を行い、その結果、我々のモデルの進歩を示す。
  論文  参考訳（メタデータ） (2022-10-28T01:25:16Z)
• Model Uncertainty-Aware Knowledge Amalgamation for Pre-Trained Language Models [37.88287077119201]
  PLMのための新しいモデル再利用パラダイムであるKnowledge Amalgamation(KA)を提案する。 KAは、人間のアノテーションを使用せずに、異なる分類問題に特化している異なる教師-PLMの知識を、汎用的な学生モデルにマージすることを目的としている。 実験の結果,MUKAはベンチマークデータセットのベースラインよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T12:26:24Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。