論文の概要: Unified Optimization of Source Weights and Transfer Quantities in Multi-Source Transfer Learning: An Asymptotic Framework

• arxiv url: http://arxiv.org/abs/2601.10779v1
• Date: Thu, 15 Jan 2026 18:46:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.252653
• Title: Unified Optimization of Source Weights and Transfer Quantities in Multi-Source Transfer Learning: An Asymptotic Framework
• Title（参考訳）: マルチソーストランスファー学習におけるソースウェイトと転送量の統一最適化--漸近的フレームワーク
• Authors: Qingyue Zhang, Chang Chu, Haohao Fu, Tianren Peng, Yanru Wu, Guanbo Huang, Yang Li, Shao-Lun Huang,
• Abstract要約: 本稿では,パラメータ推定問題として多元移動学習を定式化する理論フレームワーク,Unified Optimization of Weights and Quantities (UOWQ)を提案する。 重みが適切に調整された場合、利用可能なすべてのソースサンプルが常に最適であることを示す。 理論的結果に基づいて,マルチソース・トランスファー学習とマルチタスク・ラーニング・セッティングの両方に実用的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.078086239740342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning plays a vital role in improving model performance in data-scarce scenarios. However, naive uniform transfer from multiple source tasks may result in negative transfer, highlighting the need to properly balance the contributions of heterogeneous sources. Moreover, existing transfer learning methods typically focus on optimizing either the source weights or the amount of transferred samples, while largely neglecting the joint consideration of the other. In this work, we propose a theoretical framework, Unified Optimization of Weights and Quantities (UOWQ), which formulates multi-source transfer learning as a parameter estimation problem grounded in an asymptotic analysis of a Kullback-Leibler divergence-based generalization error measure. The proposed framework jointly determines the optimal source weights and optimal transfer quantities for each source task. Firstly, we prove that using all available source samples is always optimal once the weights are properly adjusted, and we provide a theoretical explanation for this phenomenon. Moreover, to determine the optimal transfer weights, our analysis yields closed-form solutions in the single-source setting and develops a convex optimization-based numerical procedure for the multi-source case. Building on the theoretical results, we further propose practical algorithms for both multi-source transfer learning and multi-task learning settings. Extensive experiments on real-world benchmarks, including DomainNet and Office-Home, demonstrate that UOWQ consistently outperforms strong baselines. The results validate both the theoretical predictions and the practical effectiveness of our framework.
• Abstract（参考訳）: トランスファーラーニングは、データスカースシナリオにおけるモデルパフォーマンスを改善する上で重要な役割を担います。 しかし、複数のソースタスクから一様に移行すると負の転送が発生する可能性があり、不均一なソースのコントリビューションを適切にバランスさせることの必要性が浮き彫りになる。 さらに、既存の転写学習手法は、典型的には、ソース重量または転送サンプル量の最適化に重点を置いている。 本研究では,Kulback-Leibler 変分法に基づく一般化誤差尺度の漸近解析に基づくパラメータ推定問題として,多元移動学習を定式化する理論フレームワークであるUnified Optimization of Weights and Quantities (UOWQ)を提案する。 提案フレームワークは、各ソースタスクに対して最適なソース重みと最適な転送量とを共同で決定する。 第一に、全ての利用可能なソースサンプルの使用は常に、重量が適切に調整されたときに最適であることを証明し、この現象に関する理論的説明を提供する。 さらに, 最適転送重みを決定するために, 単一ソース設定における閉形式解を導出し, 複数ソースの場合に対して凸最適化に基づく数値計算法を開発する。 理論的結果に基づいて,マルチソース・トランスファー学習とマルチタスク・ラーニング・セッティングの両方に実用的なアルゴリズムを提案する。 DomainNetやOffice-Homeなど、現実世界のベンチマークに関する大規模な実験は、UOWQが一貫して強力なベースラインを上回っていることを示している。 その結果,理論的予測と本フレームワークの実用性の両方が検証された。

関連論文リスト

• Diffusion Bridge or Flow Matching? A Unifying Framework and Comparative Analysis [57.614436689939986]
  拡散ブリッジとフローマッチングは、任意の分布間の変換において魅力的な経験的性能を示した。 我々は,これらのフレームワークを最適制御のレンズを通して再キャストし,拡散橋のコスト関数が低いことを証明した。 これらの理論的主張を裏付けるために,潜伏変圧器上に構築された拡散橋の新しい強力なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-09-29T09:45:22Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• A High-Dimensional Statistical Method for Optimizing Transfer Quantities in Multi-Source Transfer Learning [19.59729349421865]
  対象モデルを共同でトレーニングするために、各ソースタスクから必要なソースサンプルの最適な量は何か? 具体的には、K-Lの発散に基づく一般化誤差尺度を導入し、高次元統計解析に基づいて最小化し、各ソースタスクの最適転送量を決定する。 アーキテクチャに依存しないデータ効率のアルゴリズムOTQMSを開発し、マルチソーストランスファー学習におけるターゲットモデルトレーニングのための理論的結果を実装した。
  論文  参考訳（メタデータ） (2025-02-06T17:32:49Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer [4.328706834250445]
  本稿では,対象タスクに対するソースモデルの最適線形結合を学習するHアンサンブル(H-ensemble)というフレームワークを提案する。 H-アンサンブルは,1)少数の目標タスクに対する新しいMSF設定への適応性,2)理論的信頼性,3)解釈や適応が容易な軽量構造を特徴とする。 我々は,Hアンサンブルが最適なタスクアンサンブルを学習し,先行技術より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-19T17:39:34Z)
• Delegating Data Collection in Decentralized Machine Learning [67.0537668772372]
  分散機械学習(ML)エコシステムの出現に動機付けられ,データ収集のデリゲートについて検討する。 我々は、2つの基本的な情報非対称性を扱う最適でほぼ最適な契約を設計する。 最適効用の1-1/e分を達成できるような単純な線形契約により、主成分がそのような非対称性に対処できることが示される。
  論文  参考訳（メタデータ） (2023-09-04T22:16:35Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。