論文の概要: Federated Learning from Vision-Language Foundation Models: Theoretical Analysis and Method

• arxiv url: http://arxiv.org/abs/2409.19610v1
• Date: Sun, 29 Sep 2024 08:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 22:09:00.580551
• Title: Federated Learning from Vision-Language Foundation Models: Theoretical Analysis and Method
• Title（参考訳）: 視覚言語基礎モデルからのフェデレーション学習:理論的解析と方法
• Authors: Bikang Pan, Wei Huang, Ye Shi,
• Abstract要約: 特徴学習理論を用いて,素早いフェデレーション学習のための理論的分析フレームワークを構築した。 具体的には,信号学習と雑音記憶の進化を,プロンプトに基づくフェデレーション学習で監視する。 本研究では,タスク関連係数とタスク関連係数の比率によって性能を評価することができることを示す。
• 参考スコア（独自算出の注目度）: 7.261306002808739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating pretrained vision-language foundation models like CLIP into federated learning has attracted significant attention for enhancing generalization across diverse tasks. Typically, federated learning of vision-language models employs prompt learning to reduce communication and computational costs, i.e., prompt-based federated learning. However, there is limited theoretical analysis to understand the performance of prompt-based federated learning. In this work, we construct a theoretical analysis framework for prompt-based federated learning via feature learning theory. Specifically, we monitor the evolution of signal learning and noise memorization in prompt-based federated learning, demonstrating that performance can be assessed by the ratio of task-relevant to task-irrelevant coefficients. Furthermore, we draw an analogy between income and risk in portfolio optimization and the task-relevant and task-irrelevant terms in feature learning. Leveraging inspiration from portfolio optimization that combining two independent assets will maintain the income while reducing the risk, we introduce two prompts: global prompt and local prompt to construct a prompt portfolio to balance the generalization and personalization. Consequently, we showed the performance advantage of the prompt portfolio and derived the optimal mixing coefficient. These theoretical claims have been further supported by empirical experiments.
• Abstract（参考訳）: CLIPのような事前学習された視覚言語基礎モデルをフェデレートラーニングに統合することは、様々なタスクにおける一般化を促進する上で大きな注目を集めている。 一般的に、視覚言語モデルの連合学習は、即時学習を用いてコミュニケーションと計算コストを削減し、即時学習(即時学習)である。 しかし、素早い学習におけるフェデレート学習の性能を理解するための理論的分析は限られている。 本研究では,特徴学習理論を用いた素早いフェデレーション学習のための理論的分析フレームワークを構築した。 具体的には,課題関連係数と課題関連係数の比率で評価できることを示す。 さらに,ポートフォリオ最適化における収益とリスクの類似点と,特徴学習におけるタスク関連用語とタスク関連用語の類似点を抽出する。 2つの独立した資産を組み合わせることで、リスクを低減しつつ収入を維持するというポートフォリオ最適化からのインスピレーションを生かして、グローバル・プロンプトとローカル・プロンプトという2つのプロンプトを導入し、一般化とパーソナライゼーションのバランスをとるための迅速なポートフォリオを構築する。 その結果,プロンプトポートフォリオの性能上の利点を示し,最適混合係数を導出した。 これらの理論的な主張は実証実験によってさらに支持されている。

関連論文リスト

• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• A Theory of Emergent In-Context Learning as Implicit Structure Induction [8.17811111226145]
  大きな言語モデルをスケールすると、実例からコンテキスト内で学習する能力が創発的になる。 文脈内学習は、自然言語データにみられる合成操作の組換えに依拠していると論じる。 入力の合成構造の表現によって、文脈内学習がどうサポートされるかを示す。
  論文  参考訳（メタデータ） (2023-03-14T15:24:05Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
  情報理論AEPに基づく信頼性学習の理論的保証を提供する。 次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。 実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T17:33:11Z)
• Towards a General Pre-training Framework for Adaptive Learning in MOOCs [37.570119583573955]
  異種学習要素を適切に活用した,データ観測と学習スタイル分析に基づく統合フレームワークを提案する。 授業の構造やテキスト,知識は,学生の非逐次学習行動に本質的に整合性があり,モデリングに有用であることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T13:18:39Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Off-Policy Imitation Learning from Observations [78.30794935265425]
  観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。 オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。 我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
  論文  参考訳（メタデータ） (2021-02-25T21:33:47Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)
• Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
  現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。 我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。 このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。