論文の概要: XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup

• arxiv url: http://arxiv.org/abs/2007.10252v1
• Date: Mon, 20 Jul 2020 16:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 12:40:51.896613
• Title: XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup
• Title（参考訳）: xmixup:クロスドメインミックスアップによる補助サンプルによる効率的な転送学習
• Authors: Xingjian Li, Haoyi Xiong, Haozhe An, Chengzhong Xu, Dejing Dou
• Abstract要約: クロスドメイン・ミックスアップ(XMixup)は、深層移動学習のためのマルチタスクパラダイムを改善する。 XMixupはソースデータセットから補助サンプルを選択し、単純なミックスアップ戦略を通じてトレーニングサンプルを拡張する。 実験の結果、XMixupは平均で1.9%精度が向上した。
• 参考スコア（独自算出の注目度）: 60.07531696857743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferring knowledge from large source datasets is an effective way to fine-tune the deep neural networks of the target task with a small sample size. A great number of algorithms have been proposed to facilitate deep transfer learning, and these techniques could be generally categorized into two groups - Regularized Learning of the target task using models that have been pre-trained from source datasets, and Multitask Learning with both source and target datasets to train a shared backbone neural network. In this work, we aim to improve the multitask paradigm for deep transfer learning via Cross-domain Mixup (XMixup). While the existing multitask learning algorithms need to run backpropagation over both the source and target datasets and usually consume a higher gradient complexity, XMixup transfers the knowledge from source to target tasks more efficiently: for every class of the target task, XMixup selects the auxiliary samples from the source dataset and augments training samples via the simple mixup strategy. We evaluate XMixup over six real world transfer learning datasets. Experiment results show that XMixup improves the accuracy by 1.9% on average. Compared with other state-of-the-art transfer learning approaches, XMixup costs much less training time while still obtains higher accuracy.
• Abstract（参考訳）: 大規模ソースデータセットから知識を転送することは、ターゲットタスクのディープニューラルネットワークを小さなサンプルサイズで微調整する効果的な方法である。 ディープトランスファー学習を容易にするアルゴリズムが多数提案されており、これらのテクニックは一般的に、ソースデータセットから事前トレーニングされたモデルを使用して、ターゲットタスクの正規化学習(Regularized Learning)と、ソースとターゲットの両方のデータセットによるマルチタスク学習(Multitask Learning)という2つのグループに分類される。 本研究では,クロスドメインミックスアップ(xmixup)による深層伝達学習のためのマルチタスクパラダイムの改善を目指す。 既存のマルチタスク学習アルゴリズムは、ソースデータセットとターゲットデータセットの両方でバックプロパゲーションを実行し、通常より高い勾配の複雑さを消費する必要があるが、XMixupはソースからターゲットタスクへの知識の転送をより効率的に行う: ターゲットタスクのクラス毎に、XMixupはソースデータセットから補助サンプルを選択し、単純なミックスアップ戦略を通じてトレーニングサンプルを増強する。 XMixupを6つの実世界移動学習データセットで評価する。 実験の結果、XMixupは平均で1.9%精度が向上した。 他の最先端のトランスファー学習アプローチと比較して、XMixupはトレーニング時間を大幅に削減し、高い精度が得られる。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
  我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。 本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-19T04:36:41Z)
• H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer [4.328706834250445]
  本稿では,対象タスクに対するソースモデルの最適線形結合を学習するHアンサンブル(H-ensemble)というフレームワークを提案する。 H-アンサンブルは,1)少数の目標タスクに対する新しいMSF設定への適応性,2)理論的信頼性,3)解釈や適応が容易な軽量構造を特徴とする。 我々は,Hアンサンブルが最適なタスクアンサンブルを学習し,先行技術より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-19T17:39:34Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Single-dataset Experts for Multi-dataset Question Answering [6.092171111087768]
  複数のデータセットにネットワークをトレーニングして、新たなデータセットを一般化し、転送します。 我々のアプローチは、単一データセットの専門家の集合を用いて、マルチデータセットの質問応答をモデル化することである。 パラメータ警告に基づく単純な手法は、ゼロショットの一般化と少数ショットの転送性能の向上につながる。
  論文  参考訳（メタデータ） (2021-09-28T17:08:22Z)
• Mixup Without Hesitation [38.801366276601414]
  我々は、簡潔で効果的で使いやすいトレーニングアルゴリズムであるMixup Without hesitation (mWh)を提案する。 mWhは、ミックスアップを基本データ拡張に徐々に置き換えることで、探索とエクスプロイトのバランスを良くする。 私たちのコードはオープンソースで、https://github.com/yuhao318318/mwhで利用可能です。
  論文  参考訳（メタデータ） (2021-01-12T08:11:08Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• GradMix: Multi-source Transfer across Domains and Tasks [33.98368732653684]
  GradMixは、勾配に基づく学習規則で訓練されたモデルに適用できるモデルに依存しない手法である。 数値認識と行動認識の2つの課題についてMS-DTT実験を行った。
  論文  参考訳（メタデータ） (2020-02-09T02:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。