論文の概要: Understanding Head Geometry and Dynamics in Federated Regression through a Natural Solution Selection Rule: An Unconstrained Feature Model Analysis

• arxiv url: http://arxiv.org/abs/2609.39464v1
• Date: Wed, 30 Sep 2026 10:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.585249
• Title: Understanding Head Geometry and Dynamics in Federated Regression through a Natural Solution Selection Rule: An Unconstrained Feature Model Analysis
• Title（参考訳）: 自然解選択規則によるフェデレーション回帰の頭部形状とダイナミクスの理解:制約のない特徴モデル解析
• Abstract要約: ローカルな目的は複数の最適なヘッドを許容し、アグリゲーションはクライアントがどのヘッドを返すかに依存する。 各クライアントは、ブロードキャストヘッドに最も近い最適なヘッドを返す。 頭部に近位ペナルティが消滅した世界最小化は、このルールを実現することを示す。
• 参考スコア（独自算出の注目度）: 2.907684089933149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In federated averaging, local objectives can admit multiple optimal heads, making the aggregate depend on which heads clients return. We study this ambiguity in federated multivariate regression with private backbones and a shared linear head, using an unconstrained feature model (UFM) that treats training-sample features as free variables. We introduce a natural selection rule: each client returns the optimal head closest to the broadcast head. We show that global minimization with a vanishing proximal penalty on the head realizes this rule. When the clients' optimal Gram matrices and the initial shared Gram matrix are positive definite, the shared Gram matrix follows a closed recursion and converges to the unique Bures-Wasserstein barycenter of the clients' optimal Gram matrices. Even with this alignment, the limit generally differs from the centralized optimal Gram matrix. We decompose this gap into three positive-semidefinite terms arising from differences in client target means, covariance heterogeneity, and averaging the aligned heads. A correction based on a one-time exchange of target means and covariances recovers the centralized optimal Gram matrix in one round under exact local optimization and the same selection rule. We verify these results numerically in the UFM and test its predictions on five tabular and five image regression datasets using deep networks with feature regularization and long local training. In these experiments, ordinary training approaches the predicted barycenter, while a weak proximal penalty improves endpoint agreement and yields trajectories that closely follow the predicted Gram dynamics. The correction moves the final Gram matrices close to the centralized UFM prediction.
• Abstract（参考訳）: 連合平均化では、局所的な目的は複数の最適なヘッドを許容し、アグリゲーションはクライアントがどのヘッドを返すかに依存する。 本研究では, 学習サンプルの特徴を自由変数として扱う非拘束特徴モデル (UFM) を用いて, プライベートバックボーンと共有線形ヘッドとの連立多変量回帰のあいまいさについて検討する。 各クライアントは、ブロードキャストヘッドに最も近い最適なヘッドを返す。 頭部に近位ペナルティが消滅した世界最小化は、このルールを実現することを示す。 クライアントの最適グラム行列と最初の共有グラム行列が正定値であるとき、共有グラム行列は閉じた再帰に従い、クライアントの最適グラム行列の独自のビュール=ヴァッサーシュタインバリ中心に収束する。 このアライメントであっても、この極限は一般に、集中的な最適グラム行列と異なる。 我々は,このギャップを,クライアント目標手段の違い,共分散の不均一性,アライメントヘッドの平均化から生じる3つの正の半有限項に分解する。 目標手段と共分散の1回交換に基づく補正は、正確な局所最適化と同一選択規則の下で1ラウンドで集中最適グラム行列を復元する。 我々はこれらの結果をUFMで数値的に検証し、5つの表と5つの画像回帰データセット上で特徴正規化と長期ローカルトレーニングによる予測を検証した。 これらの実験では、通常の訓練は予測された準中心に近づき、弱い近位罰は終端一致を改善し、予測された文法力学に密接に従う軌道を生成する。 補正は、最終文法行列を集中的UFM予測に近づける。

関連論文リスト

• Diffract: Spectral View of LLM Domain Adaptation [0.0]
  連続的な事前学習は、汎用的な大規模言語モデルを特殊なドメインに適応させるメカニズムである。 CPTには特異値スペクトルがほとんど不変であり、適応は主に特異ベクトルの変化によって導かれる。 低比重ヘッドを予めトレーニングされた状態に選択的に巻き戻すと、完全にトレーニングされたベースラインと比較して、ベンチマークの精度が最大4%向上する。
  論文  参考訳（メタデータ） (2026-08-11T12:23:28Z)
• A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling [7.035974899001363]
  我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。 一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
  論文  参考訳（メタデータ） (2026-06-01T05:36:26Z)
• Private Adaptive Covariance Estimation via Gaussian Graphical Models [17.445722519053046]
  PACE-GGMは、経験的共分散行列の最も情報性の高いエントリにプライバシー予算を集中させる。 様々な実世界のデータセットの実験では、推定誤差が一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-05-22T23:49:45Z)
• One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
  フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
  論文  参考訳（メタデータ） (2026-01-13T04:47:22Z)
• Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
  最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。 これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。 この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
  論文  参考訳（メタデータ） (2025-12-03T09:01:48Z)
• DARE-GRAM : Unsupervised Domain Adaptation Regression by Aligning Inverse Gram Matrices [3.5933327773749513]
  Unlabelled Domain Adaptation Regression (DAR)は、ラベル付きソースデータセットと、レグレッション問題のための教師なしターゲットデータセットの間のドメインギャップを埋めることを目的としている。 本稿では, 線形回帰器に対する閉形式正規最小二乗(OLS)解を深い領域適応文脈で解析することにより, DAR問題に対する異なる視点を示す。 擬似逆低ランク特性を利用して選択した部分空間のスケールと角度を整列する簡易かつ効果的なDAR法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:04:23Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
  本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。 最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。 第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
  論文  参考訳（メタデータ） (2022-02-10T09:10:59Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。