論文の概要: When to Stop Federated Learning: Zero-Shot Generation of Synthetic Validation Data with Generative AI for Early Stopping

• arxiv url: http://arxiv.org/abs/2511.11208v1
• Date: Fri, 14 Nov 2025 12:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.570939
• Title: When to Stop Federated Learning: Zero-Shot Generation of Synthetic Validation Data with Generative AI for Early Stopping
• Title（参考訳）: フェデレーション学習の停止:早期停止のための生成AIを用いた合成バリデーションデータのゼロショット生成
• Authors: Youngjoon Lee, Hyukjoon Lee, Jinu Gong, Yang Cao, Joonhyuk Kang,
• Abstract要約: フェデレートラーニング(FL)は、分散デバイス間の協調モデルトレーニングを可能にする。 モデル性能の監視に生成AIを活用するゼロショット合成検証フレームワークを導入する。 本手法では,最適ラウンド付近でのトレーニングを適応的に停止し,計算資源の保存を行う。
• 参考スコア（独自算出の注目度）: 5.0740578889286105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables collaborative model training across decentralized devices while preserving data privacy. However, FL methods typically run for a predefined number of global rounds, often leading to unnecessary computation when optimal performance is reached earlier. In addition, training may continue even when the model fails to achieve meaningful performance. To address this inefficiency, we introduce a zero-shot synthetic validation framework that leverages generative AI to monitor model performance and determine early stopping points. Our approach adaptively stops training near the optimal round, thereby conserving computational resources and enabling rapid hyperparameter adjustments. Numerical results on multi-label chest X-ray classification demonstrate that our method reduces training rounds by up to 74% while maintaining accuracy within 1% of the optimal.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データのプライバシを保持しながら、分散デバイス間で協調的なモデルトレーニングを可能にする。 しかし、FLメソッドは通常、予め定義された多数のグローバルラウンドで実行され、しばしば最適な性能に達すると不要な計算に繋がる。 さらに、モデルが意味のあるパフォーマンスを達成できない場合でも、トレーニングは継続する可能性がある。 この非効率性に対処するために、生成AIを利用してモデル性能を監視し、早期停止点を決定するゼロショット合成検証フレームワークを導入する。 提案手法は,最適ラウンド付近でのトレーニングを適応的に停止し,計算資源を保存し,高速なハイパーパラメータ調整を可能にする。 マルチラベル胸部X線分類では, トレーニングラウンドを最大74%削減し, 精度は1%に抑えられた。

関連論文リスト

• FedEL: Federated Elastic Learning for Heterogeneous Devices [14.499606660793239]
  フェデレートラーニング(FL)は、データプライバシを維持しながら、分散デバイスが機械学習モデルを協調的にトレーニングすることを可能にする。 クライアントの選択、非同期FL、部分的なトレーニングといった既存のソリューションは、これらの課題に部分的に対処するが、精度の低下、古い更新、一貫性のないトレーニングコントリビューションによるモデルパフォーマンスの妥協といった問題に直面する。 モデル精度を維持しながらトレーニング効率を向上させるための,連合型弾性学習フレームワークであるFedELを提案する。
  論文  参考訳（メタデータ） (2025-09-21T03:25:46Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Self-Contrastive Forward-Forward Algorithm [3.1361717406527667]
  フォワードフォワード (FF) アルゴリズムは、レイヤーワイドの目的を最適化するためにフィードフォワード演算に依存する。 FFは、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達できなかった。 本稿では,この性能ギャップを解消するための競争訓練手法である,自己コントラストフォワード(SCFF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-17T22:58:20Z)
• Fast-Convergent Federated Learning via Cyclic Aggregation [10.658882342481542]
  フェデレートラーニング(FL)は、複数のエッジデバイス上で共有グローバルモデルを最適化することを目的として、中央サーバに(プライベート)データを送信しない。 本稿では,サーバ側での循環学習率を利用して,性能向上によるトレーニングイテレーション数を削減した。 数値計算の結果,提案したサイクリックアグリゲーションを既存のFLアルゴリズムに簡単に差し込むことで,学習イテレーションの数を効果的に減らし,性能が向上することを確認した。
  論文  参考訳（メタデータ） (2022-10-29T07:20:59Z)
• FINETUNA: Fine-tuning Accelerated Molecular Simulations [5.543169726358164]
  本稿では,原子系のシミュレーションを効率的かつ正確に高速化するためのオンライン能動的学習フレームワークを提案する。 事前学習されたモデルから事前情報を組み込む伝達学習法は、DFT計算の数を91%減らしてシミュレーションを加速する。 30個のベンチマーク吸着剤触媒系の実験により,事前学習したモデルから事前情報を組み込むトランスファー学習法がシミュレーションを加速し,DFT計算の数を91%削減した。
  論文  参考訳（メタデータ） (2022-05-02T21:36:01Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。