論文の概要: Operator-Theoretic Framework for Gradient-Free Federated Learning
- arxiv url: http://arxiv.org/abs/2512.01025v1
- Date: Sun, 30 Nov 2025 18:49:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.544718
- Title: Operator-Theoretic Framework for Gradient-Free Federated Learning
- Title(参考訳): グラディエントフリーフェデレーション学習のための演算子理論フレームワーク
- Authors: Mohit Kumar, Mathias Brucker, Alexander Valentinitsch, Adnan Husakovic, Ali Abbas, Manuela Geiß, Bernhard A. Moser,
- Abstract要約: フェデレートされた学習は、不均一性、厳密なコミュニケーションと計算制限、そしてパフォーマンスを確保しながらプライバシに対処する必要がある。
我々は、$L2$-optimal の解を再生カーネルヒルベルト空間にマッピングする演算子理論フレームワークを提案する。
この空間内では、カーネルアフィンハルマシンの空間折り畳み特性を利用した効率的なカーネルマシンを設計する。
- 参考スコア(独自算出の注目度): 34.77158092842152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning must address heterogeneity, strict communication and computation limits, and privacy while ensuring performance. We propose an operator-theoretic framework that maps the $L^2$-optimal solution into a reproducing kernel Hilbert space (RKHS) via a forward operator, approximates it using available data, and maps back with the inverse operator, yielding a gradient-free scheme. Finite-sample bounds are derived using concentration inequalities over operator norms, and the framework identifies a data-dependent hypothesis space with guarantees on risk, error, robustness, and approximation. Within this space we design efficient kernel machines leveraging the space folding property of Kernel Affine Hull Machines. Clients transfer knowledge via a scalar space folding measure, reducing communication and enabling a simple differentially private protocol: summaries are computed from noise-perturbed data matrices in one step, avoiding per-round clipping and privacy accounting. The induced global rule requires only integer minimum and equality-comparison operations per test point, making it compatible with fully homomorphic encryption (FHE). Across four benchmarks, the gradient-free FL method with fixed encoder embeddings matches or outperforms strong gradient-based fine-tuning, with gains up to 23.7 points. In differentially private experiments, kernel smoothing mitigates accuracy loss in high-privacy regimes. The global rule admits an FHE realization using $Q \times C$ encrypted minimum and $C$ equality-comparison operations per test point, with operation-level benchmarks showing practical latencies. Overall, the framework provides provable guarantees with low communication, supports private knowledge transfer via scalar summaries, and yields an FHE-compatible prediction rule offering a mathematically grounded alternative to gradient-based federated learning under heterogeneity.
- Abstract(参考訳): フェデレートされた学習は、不均一性、厳密なコミュニケーションと計算制限、そしてパフォーマンスを確保しながらプライバシに対処する必要がある。
我々は,$L^2$-最適化解をフォワード演算子を介して再生カーネルヒルベルト空間(RKHS)にマッピングし,利用可能なデータを用いて近似し,逆演算子と写像し,勾配のないスキームを生成する演算子理論フレームワークを提案する。
有限サンプル境界は作用素ノルム上の濃度不等式を用いて導出され、このフレームワークはリスク、エラー、堅牢性、近似を保証したデータ依存仮説空間を識別する。
この空間内では、カーネルアフィンハルマシンの空間折り畳み特性を利用した効率的なカーネルマシンを設計する。
クライアントは、スカラー空間の折り畳み測定を通じて知識を伝達し、通信を減らし、単純な微分プライベートなプロトコルを可能にする。
帰納的大域規則では、テストポイント当たりの整数最小値と等値比較演算しか必要とせず、完全同型暗号(FHE)と互換性がある。
4つのベンチマークで、固定エンコーダを組み込んだ勾配フリーFL法は、強い勾配に基づく微調整よりも23.7ポイント向上した。
異なるプライベートな実験では、カーネルの平滑化は、高プライバシな状態における精度損失を緩和する。
グローバルルールでは、テストポイント毎に$Q \times C$暗号化された最小値と$C$平等比較演算を使用してFHEを実現する。
全体として、このフレームワークは低通信で証明可能な保証を提供し、スカラーサマリーを介してプライベートな知識伝達をサポートし、不均一性の下で勾配に基づくフェデレート学習に代わる数学的に基礎付けられた代替手段を提供するFHE互換の予測ルールを提供する。
関連論文リスト
- Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Federated Learning of Quantile Inference under Local Differential Privacy [2.8462768598083823]
局所微分プライバシー(LDP)下での量子推論の学習について検討する。
本稿では,局所勾配勾配(SGD)に基づく推定器を提案する。
我々は、推定器の正規性と機能中心極限定理を確立する。
論文 参考訳(メタデータ) (2025-09-26T02:56:39Z) - Distribution-Free Uncertainty-Aware Virtual Sensing via Conformalized Neural Operators [1.7864593554171284]
Conformalized Monte Carlo Operator (CMCO)は、ニューラルネットワークに基づく仮想センシングを、キャリブレーションされた、分布のない予測間隔で変換する。
CMCOは、リトレーニング、アンサンブル、カスタムロス設計なしで、空間的に解決された不確実性推定を達成する。
このブレークスルーは、ニューラル演算子のための汎用的なプラグアンドプレイUQソリューションを提供し、デジタルツインにおけるリアルタイムで信頼性の高い推論をアンロックし、センサーフュージョン、安全クリティカルな監視を提供する。
論文 参考訳(メタデータ) (2025-07-15T04:26:40Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。
近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。
この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。
そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-03-01T07:15:21Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-19T05:55:02Z) - Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。
本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。
CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
論文 参考訳(メタデータ) (2022-06-13T02:16:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。