論文の概要: Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning
- arxiv url: http://arxiv.org/abs/2404.15704v1
- Date: Wed, 24 Apr 2024 07:47:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:49:56.993269
- Title: Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning
- Title(参考訳): 逆相補表現学習を用いた効率的な多モデル融合
- Authors: Zuheng Kang, Yayun He, Jianzong Wang, Junqing Peng, Jing Xiao,
- Abstract要約: 単一モデルシステムは、話者検証(SV)や画像分類といったタスクにおいて、しばしば欠陥に悩まされる。
本稿では、新たに訓練されたモデルが以前取得した知識を回避できる逆相補表現学習(ACoRL)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 26.393644289860084
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Single-model systems often suffer from deficiencies in tasks such as speaker verification (SV) and image classification, relying heavily on partial prior knowledge during decision-making, resulting in suboptimal performance. Although multi-model fusion (MMF) can mitigate some of these issues, redundancy in learned representations may limits improvements. To this end, we propose an adversarial complementary representation learning (ACoRL) framework that enables newly trained models to avoid previously acquired knowledge, allowing each individual component model to learn maximally distinct, complementary representations. We make three detailed explanations of why this works and experimental results demonstrate that our method more efficiently improves performance compared to traditional MMF. Furthermore, attribution analysis validates the model trained under ACoRL acquires more complementary knowledge, highlighting the efficacy of our approach in enhancing efficiency and robustness across tasks.
- Abstract(参考訳): 単一モデルシステムは、話者検証(SV)や画像分類といったタスクの欠如に悩まされ、意思決定時に部分的な事前知識に大きく依存する。
マルチモデル融合(MMF)はこれらの問題のいくつかを軽減することができるが、学習された表現の冗長性は改善を制限する可能性がある。
そこで本稿では,新たにトレーニングされたモデルに対して,事前取得した知識を回避し,各コンポーネントモデルに対して,最大で相補的表現の学習を可能にする,対向的補完的表現学習(ACoRL)フレームワークを提案する。
提案手法は従来のMMFよりも効率よく性能を向上することを示す。
さらに、属性分析により、ACoRLの下で訓練されたモデルがより補完的な知識を獲得し、タスク間の効率性と堅牢性を高めるためのアプローチの有効性を強調した。
関連論文リスト
- Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Teaching Language Models to Self-Improve through Interactive Demonstrations [83.9421355808174]
大規模言語モデルの自己改善能力は欠如しており、より小さなモデルで学ぶことは困難である。
このような自己改善能力を持つ小型モデルのトレーニングアルゴリズムであるTriPosTを導入する。
我々は,LLaMA-7bの算数および推論タスクの性能を最大7.13%向上させることができることを示す。
論文 参考訳(メタデータ) (2023-10-20T14:11:04Z) - One-stop Training of Multiple Capacity Models [74.87789190840527]
本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。
複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
論文 参考訳(メタデータ) (2023-05-23T13:44:09Z) - Joint Representations for Reinforcement Learning with Multiple Sensors [17.442700717736162]
複数のセンサからの強化学習のための表現学習を解析する。
共同表現学習における再構成ベースと対照的な損失の組み合わせは,性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-02-10T15:57:20Z) - Improving the Modality Representation with Multi-View Contrastive
Learning for Multimodal Sentiment Analysis [15.623293264871181]
コントラスト学習によるモダリティ表現の改良手法について検討した。
我々は,多視点コントラスト学習を用いた3段階のフレームワークを考案し,特定の目的の表現を洗練させる。
3つのオープンデータセットで実験を行い、その結果、我々のモデルの進歩を示す。
論文 参考訳(メタデータ) (2022-10-28T01:25:16Z) - Model Uncertainty-Aware Knowledge Amalgamation for Pre-Trained Language
Models [37.88287077119201]
PLMのための新しいモデル再利用パラダイムであるKnowledge Amalgamation(KA)を提案する。
KAは、人間のアノテーションを使用せずに、異なる分類問題に特化している異なる教師-PLMの知識を、汎用的な学生モデルにマージすることを目的としている。
実験の結果,MUKAはベンチマークデータセットのベースラインよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2021-12-14T12:26:24Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳(メタデータ) (2020-08-21T05:30:48Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。