論文の概要: A solvable model for unsupervised federated learning

• arxiv url: http://arxiv.org/abs/2606.13045v1
• Date: Thu, 11 Jun 2026 08:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.673347
• Title: A solvable model for unsupervised federated learning
• Title（参考訳）: 教師なしフェデレーション学習のための可解モデル
• Authors: Giovanni Catania, Aurélien Decelle, Gianluca Manzan, Beatriz Seoane, Daniele Tantari,
• Abstract要約: 本稿では,教師と教師が対話する授業シナリオを通じて,創成的な環境下でのフェデレーション学習を解析するための理論的枠組みを提案する。 本研究では,学生間の相互作用が学習性能を体系的に向上させることを示す。
• 参考スコア（独自算出の注目度）: 7.720611301237503
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce a theoretical framework for analyzing federated learning in a generative setting through a teacher-multiple interacting students scenario, in which each student receives a distinct realization of the data, either through a different noise corruption or by accessing a different subset, possibly of varying size. Using theoretical tools in equilibrium disordered system, we analytically show that interactions among students systematically enhance learning performance: highly noisy students require fewer samples to recover the underlying pattern, while low-noise students achieve a larger overlap with the ground-truth signal. We derive the optimal Bayesian conditions for teacher recovery as functions of the sample complexity, noise level, and interaction strength, and validate these predictions through numerical simulations. The resulting dynamics can be mapped onto equilibrium sampling in a Restricted Boltzmann Machine with a structured hidden layer, providing a principled theoretical understanding of how interactions improve distributed generative modeling.
• Abstract（参考訳）: 本稿では,教師同士の対話的なシナリオを通じて,各学生が異なるノイズ汚職や異なるサブセットにアクセスすることによって,データの個別化を受けるという,生成環境におけるフェデレーション学習を解析するための理論的枠組みを提案する。 平衡不整合系の理論ツールを用いて、学生間の相互作用が学習性能を体系的に向上することを示した。 我々は,教師の回復に最適なベイズ条件を,サンプルの複雑さ,騒音レベル,相互作用強度の関数として導出し,これらの予測を数値シミュレーションにより検証する。 得られたダイナミクスは、構造化された隠蔽層を持つ制限ボルツマンマシンの平衡サンプリングにマッピングすることができ、相互作用が分散生成モデリングをどのように改善するかを理論的に理解することができる。

関連論文リスト

• Theoretical Analysis of Contrastive Learning under Imbalanced Data: From Training Dynamics to a Pruning Solution [33.0181633510156]
  不均衡なデータの下でトランスフォーマーベースのエンコーダを用いて、コントラスト学習のトレーニングダイナミクスを解析するための理論的枠組みを開発する。 その結果、ニューロンの重みはトレーニングの3つの異なる段階を通じて進化し、多数派の特徴、少数派の特徴、ノイズのダイナミクスが異なることが明らかとなった。 これらのニューロンレベルの行動に触発されて、プルーニングは不均衡によって劣化した性能を回復し、特徴分離を強化し、概念的洞察と実践的ガイダンスの両方を提供する。
  論文  参考訳（メタデータ） (2026-02-10T23:06:12Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Regularized Neural Ensemblers [55.15643209328513]
  本研究では,正規化ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ランダムにベースモデル予測をドロップすることで,アンサンブルモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性の低い境界を提供し、過度な適合を減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
  我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
  論文  参考訳（メタデータ） (2024-06-17T06:20:39Z)
• A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems [44.99833362998488]
  意図しない隠れフィードバックループに起因するいくつかの現象を共同で記述するために,繰り返し学習プロセスを導入する。 このような繰り返し学習設定の特徴は、環境の状態が時間とともに学習者自身に因果的に依存することである。 本稿では,繰り返し学習過程の力学系モデルを提案し,正および負のフィードバックループモードに対する確率分布の制限セットを証明した。
  論文  参考訳（メタデータ） (2024-05-04T17:57:24Z)
• The Copycat Perceptron: Smashing Barriers Through Collective Learning [3.55026004901472]
  本研究では,各学生の一般化性能に影響を及ぼすサーマルノイズが存在する場合の一般的な設定を解析する。 レプリカの結合は、$alpha$の小さな値への位相図の曲がりに繋がることがわかった。 これらの結果は、最近推測されたReplicated Simulated Annealingのベイズ最適性に関する解析的および数値的な証拠を与える。
  論文  参考訳（メタデータ） (2023-08-07T17:51:09Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
  適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。 広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-02-25T20:54:24Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。