論文の概要: A Theoretical Framework for Data Efficient Multi-Source Transfer Learning Based on Cramér-Rao Bound

• arxiv url: http://arxiv.org/abs/2502.04242v2
• Date: Tue, 25 Feb 2025 14:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:19:31.173966
• Title: A Theoretical Framework for Data Efficient Multi-Source Transfer Learning Based on Cramér-Rao Bound
• Title（参考訳）: Cramér-Rao境界に基づくデータ効率的なマルチソース変換学習のための理論的枠組み
• Authors: Qingyue Zhang, Haohao Fu, Guanbo Huang, Yaoyuan Liang, Chang Chu, Tianren Peng, Yanru Wu, Qi Li, Yang Li, Shao-Lun Huang,
• Abstract要約: 対象モデルを共同でトレーニングするために、各ソースタスクから必要なソースサンプルの最適な量は何か? 具体的には、クロスエントロピー損失と整合する一般化誤差尺度を導入し、Cram'er-Rao界に基づいて最小化して、各ソースタスクの最適な転送量を決定する。 我々はアーキテクチャに依存しないデータ効率のアルゴリズムOTQMSを開発し、深層多元移動学習モデルの学習のための理論的結果を実装した。
• 参考スコア（独自算出の注目度）: 16.49737340580437
• License:
• Abstract: Multi-source transfer learning provides an effective solution to data scarcity in real-world supervised learning scenarios by leveraging multiple source tasks. In this field, existing works typically use all available samples from sources in training, which constrains their training efficiency and may lead to suboptimal results. To address this, we propose a theoretical framework that answers the question: what is the optimal quantity of source samples needed from each source task to jointly train the target model? Specifically, we introduce a generalization error measure that aligns with cross-entropy loss, and minimize it based on the Cram\'er-Rao Bound to determine the optimal transfer quantity for each source task. Additionally, we develop an architecture-agnostic and data-efficient algorithm OTQMS to implement our theoretical results for training deep multi-source transfer learning models. Experimental studies on diverse architectures and two real-world benchmark datasets show that our proposed algorithm significantly outperforms state-of-the-art approaches in both accuracy and data efficiency. The code and supplementary materials are available in https://anonymous.4open.science/r/Materials.
• Abstract（参考訳）: マルチソーストランスファー学習は、複数のソースタスクを活用することで、実世界の教師あり学習シナリオにおけるデータ不足に対する効果的な解決策を提供する。 この分野では、既存の研究は通常、トレーニングのソースから入手可能なすべてのサンプルを使用し、トレーニングの効率を制限し、最適以下の結果をもたらす可能性がある。 そこで本研究では,各ソースタスクから抽出したサンプルの最適な量は,目標モデルと協調的に学習するのに何が必要か,という疑問に答える理論的枠組みを提案する。 具体的には、クロスエントロピー損失と整合する一般化誤差尺度を導入し、Cram\'er-Rao境界に基づいて最小化して、各ソースタスクの最適な転送量を決定する。 さらに、アーキテクチャに依存しないデータ効率のアルゴリズムOTQMSを開発し、深層多元移動学習モデルの学習のための理論的結果を実装した。 多様なアーキテクチャと2つの実世界のベンチマークデータセットに関する実験的研究により、提案アルゴリズムは精度とデータ効率の両方において最先端のアプローチを著しく上回っていることが示された。 コードと補足資料はhttps://anonymous.4open.science/r/Materialsで入手できる。

関連論文リスト

• Transfer Learning with Reconstruction Loss [12.906500431427716]
  本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。 提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。 数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
  論文  参考訳（メタデータ） (2024-03-31T00:22:36Z)
• Long-Tailed Recognition on Binary Networks by Calibrating A Pre-trained Model [18.58663937035378]
  高リソース効率のバイナリニューラルネットワークをバックボーンとして使用することで、長い尾の分布を学習するという課題に対処する。 そこで本研究では,バランスの取れたデータセットでトレーニングされた既訓練完全精度モデルを用いて,蒸留の教師として使用するキャリブレート・アンド・ディスティルフレームワークを提案する。 種々のデータセットをより一般化するために,目的関数の項間の新たな対角バランスと,効率的な多分解能学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T08:37:19Z)
• H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer [4.328706834250445]
  本稿では,対象タスクに対するソースモデルの最適線形結合を学習するHアンサンブル(H-ensemble)というフレームワークを提案する。 H-アンサンブルは,1)少数の目標タスクに対する新しいMSF設定への適応性,2)理論的信頼性,3)解釈や適応が容易な軽量構造を特徴とする。 我々は,Hアンサンブルが最適なタスクアンサンブルを学習し,先行技術より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-19T17:39:34Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Quality Not Quantity: On the Interaction between Dataset Design and Robustness of CLIP [43.7219097444333]
  ここでは,CLIPにおける事前学習分布がロバスト性をいかに引き起こすかを調べるために,公開されている6つのデータソースのテストベッドを紹介する。 その結果,事前学習データの性能は分布変化によって大きく異なることがわかった。 複数のソースを組み合わせることで、必ずしもより良いモデルが得られるのではなく、最高の個々のデータソースのロバスト性を希薄にする。
  論文  参考訳（メタデータ） (2022-08-10T18:24:23Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• Learning Centric Wireless Resource Allocation for Edge Computing: Algorithm and Experiment [15.577056429740951]
  Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。 既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。 本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
  論文  参考訳（メタデータ） (2020-10-29T06:20:40Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup [60.07531696857743]
  クロスドメイン・ミックスアップ(XMixup)は、深層移動学習のためのマルチタスクパラダイムを改善する。 XMixupはソースデータセットから補助サンプルを選択し、単純なミックスアップ戦略を通じてトレーニングサンプルを拡張する。 実験の結果、XMixupは平均で1.9%精度が向上した。
  論文  参考訳（メタデータ） (2020-07-20T16:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。