論文の概要: Game-theoretic distributed learning of generative models for heterogeneous data collections
- arxiv url: http://arxiv.org/abs/2511.01740v1
- Date: Mon, 03 Nov 2025 16:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.332495
- Title: Game-theoretic distributed learning of generative models for heterogeneous data collections
- Title(参考訳): 不均一データ収集のための生成モデルのゲーム理論による分散学習
- Authors: Dmitrij Schlesinger, Boris Flach,
- Abstract要約: ローカルモデルは、データからパラメータを学習する機能を備えた「ブラックボックス」として扱うことができる。
我々は、ゲーム理論の原理から始まる協調ゲームとして、局所モデルの学習を定式化する。
- 参考スコア(独自算出の注目度): 2.1485350418225244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the main challenges in distributed learning arises from the difficulty of handling heterogeneous local models and data. In light of the recent success of generative models, we propose to meet this challenge by building on the idea of exchanging synthetic data instead of sharing model parameters. Local models can then be treated as ``black boxes'' with the ability to learn their parameters from data and to generate data according to these parameters. Moreover, if the local models admit semi-supervised learning, we can extend the approach by enabling local models on different probability spaces. This allows to handle heterogeneous data with different modalities. We formulate the learning of the local models as a cooperative game starting from the principles of game theory. We prove the existence of a unique Nash equilibrium for exponential family local models and show that the proposed learning approach converges to this equilibrium. We demonstrate the advantages of our approach on standard benchmark vision datasets for image classification and conditional generation.
- Abstract(参考訳): 分散学習における主な課題の1つは、異種ローカルモデルとデータを扱うことの難しさから生じる。
近年のモデル生成の成功を踏まえ、モデルパラメータを共有するのではなく、合成データを交換するというアイデアに基づいて、この課題に対処することを提案する。
ローカルモデルは '`black box'' として扱われ、データからパラメータを学習し、これらのパラメータに従ってデータを生成することができる。
さらに、局所モデルに半教師付き学習が認められる場合、異なる確率空間上の局所モデルを有効にすることで、アプローチを拡張することができる。
これにより、異なるモードで異種データを処理できる。
我々は、ゲーム理論の原理から始まる協調ゲームとして、局所モデルの学習を定式化する。
指数族局所モデルに対するユニークなナッシュ均衡の存在を証明し、提案した学習アプローチがこの平衡に収束することを示す。
画像分類と条件生成のための標準ベンチマークビジョンデータセットに対するアプローチの利点を実証する。
関連論文リスト
- U-aggregation: Unsupervised Aggregation of Multiple Learning Algorithms [4.871473117968554]
新人口の強化とロバスト化のための教師なしモデルアグリゲーション手法U-アグリゲーションを提案する。
既存の教師付きモデルアグリゲーションや超学習者アプローチとは異なり、U-アグリゲーションは対象人口の観測されたラベルや成果を仮定しない。
複雑な形質の遺伝的リスク予測を高めるために,U凝集を用いた実世界の応用の可能性を示す。
論文 参考訳(メタデータ) (2025-01-30T01:42:51Z) - Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。
現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
論文 参考訳(メタデータ) (2024-05-26T13:11:55Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Federated Learning of Models Pre-Trained on Different Features with
Consensus Graphs [19.130197923214123]
プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。
本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。
本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
論文 参考訳(メタデータ) (2023-06-02T02:24:27Z) - Generative Adversarial Reduced Order Modelling [0.0]
本稿ではGAROMについて述べる。GAN(Generative Adversarial Network)に基づくリダクション・オーダー・モデリング(ROM)の新しいアプローチである。
GANはデータ配布を学習し、よりリアルなデータを生成する可能性がある。
本研究では,パラメータ微分方程式の解を学習可能なデータ駆動生成逆数モデルを導入することにより,GANとROMの枠組みを組み合わせる。
論文 参考訳(メタデータ) (2023-05-25T09:23:33Z) - Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳(メタデータ) (2023-05-23T09:46:54Z) - Learning Data Representations with Joint Diffusion Models [20.25147743706431]
データの合成と分類を可能にする統合機械学習モデルは、多くの場合、それらのタスク間の不均一なパフォーマンスを提供するか、トレーニングが不安定である。
それらの目的間のパラメータ化を共用した安定な連立エンドツーエンドトレーニングを可能にする分類器を用いて,バニラ拡散モデルを拡張した。
結果として得られた共同拡散モデルは、評価された全てのベンチマークにおいて、分類と生成品質の両方の観点から、最近の最先端のハイブリッド手法よりも優れている。
論文 参考訳(メタデータ) (2023-01-31T13:29:19Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。