Fugu-MT 論文翻訳(概要): Query-based Knowledge Transfer for Heterogeneous Learning Environments

論文の概要: Query-based Knowledge Transfer for Heterogeneous Learning Environments

arxiv url: http://arxiv.org/abs/2504.09205v1
Date: Sat, 12 Apr 2025 13:09:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-15 16:50:36.757295
Title: Query-based Knowledge Transfer for Heterogeneous Learning Environments
Title（参考訳）: 不均一学習環境における問合せに基づく知識伝達
Authors: Norah Alballa, Wenxuan Zhang, Ziquan Liu, Ahmed M. Abdelmoniem, Mohamed Elhoseiny, Marco Canini,
Abstract要約: クエリベースの知識伝達(QKT)という新しいフレームワークを提案する。 QKTは、データ交換なしで特定のクライアントのニーズを満たすための、適切な知識獲得を可能にする。実験の結果,QKTは既存の協調学習方法よりも優れていた。
参考スコア（独自算出の注目度）: 50.45210784447839
License:
Abstract: Decentralized collaborative learning under data heterogeneity and privacy constraints has rapidly advanced. However, existing solutions like federated learning, ensembles, and transfer learning, often fail to adequately serve the unique needs of clients, especially when local data representation is limited. To address this issue, we propose a novel framework called Query-based Knowledge Transfer (QKT) that enables tailored knowledge acquisition to fulfill specific client needs without direct data exchange. QKT employs a data-free masking strategy to facilitate communication-efficient query-focused knowledge transfer while refining task-specific parameters to mitigate knowledge interference and forgetting. Our experiments, conducted on both standard and clinical benchmarks, show that QKT significantly outperforms existing collaborative learning methods by an average of 20.91\% points in single-class query settings and an average of 14.32\% points in multi-class query scenarios. Further analysis and ablation studies reveal that QKT effectively balances the learning of new and existing knowledge, showing strong potential for its application in decentralized learning.
Abstract（参考訳）: データの不均一性とプライバシ制約の下での分散協調学習は急速に進歩している。しかしながら、フェデレートラーニング、アンサンブル、トランスファーラーニングといった既存のソリューションは、特にローカルデータ表現が限られている場合、クライアントのユニークなニーズに適切に対応できないことが多い。この問題に対処するために,クエリベースの知識伝達(QKT)と呼ばれる新しいフレームワークを提案する。 QKTは、コミュニケーション効率のよいクエリ中心の知識伝達を容易にすると同時に、タスク固有のパラメータを精細化し、知識の干渉や忘れを緩和するために、データフリーマスキング戦略を採用している。実験の結果,QKTは従来の協調学習手法よりも,シングルクラスのクエリ設定では平均20.91.%,マルチクラスのクエリシナリオでは平均14.32.%で優れていた。さらなる分析とアブレーション研究により、QKTは新たな知識と既存の知識の学習のバランスを効果的に保ち、分散学習におけるその応用の可能性を示すことが明らかとなった。

関連論文リスト

Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
論文参考訳（メタデータ） (2025-02-20T02:35:17Z)
FedAuxHMTL: Federated Auxiliary Hard-Parameter Sharing Multi-Task Learning for Network Edge Traffic Classification [9.816810723612653]
本稿では,FedAuxHMTLという,多タスク学習のための補助的ハードパラメータ共有フレームワークを提案する。エッジサーバとベースステーション間のモデルパラメータ交換を取り入れ、分散領域のベースステーションがFedAuxHMTLプロセスに参加することを可能にする。実験により,FedAuxHMTLの有効性を,精度,全地球的損失,通信コスト,計算時間,エネルギー消費の観点から検証し,実証した。
論文参考訳（メタデータ） (2024-04-11T16:23:28Z)
Global and Local Prompts Cooperation via Optimal Transport for Federated Learning [13.652593797756774]
本稿では,FedOTP(Federated Prompts Cooperation via Optimal Transport)を提案する。具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するグローバルなプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルなプロンプトを学習する。不均衡な最適輸送は、これらのプロンプトと局所的な視覚的特徴を整合させるために使用され、グローバルなコンセンサスと局所的なパーソナライゼーションのバランスを損なう。
論文参考訳（メタデータ） (2024-02-29T11:43:04Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文参考訳（メタデータ） (2022-11-24T13:08:43Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)
Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
論文参考訳（メタデータ） (2022-05-25T05:07:44Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。