論文の概要: CoGraM: Context-sensitive granular optimization method with rollback for robust model fusion

• arxiv url: http://arxiv.org/abs/2512.03610v1
• Date: Wed, 03 Dec 2025 09:43:00 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:01:53.330333
• Title: CoGraM: Context-sensitive granular optimization method with rollback for robust model fusion
• Title（参考訳）: CoGraM:ロバストモデル融合のためのロールバックを用いたコンテキスト依存性粒度最適化法
• Authors: Julius Lenz,
• Abstract要約: リトレーニングなしのニューラルネットワークのマージは、フェデレーションと分散学習の中心である。 重量平均化やフィッシャーマージのような一般的な方法は、しばしば正確さを失い、種子間で不安定である。 CoGraMは、レイヤ、ニューロン、および重量レベルの多段階、文脈依存、損失ベース、反復的な最適化手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Merging neural networks without retraining is central to federated and distributed learning. Common methods such as weight averaging or Fisher merging often lose accuracy and are unstable across seeds. CoGraM (Contextual Granular Merging) is a multi-stage, context-sensitive, loss-based, and iterative optimization method across layers, neurons, and weight levels that aligns decisions with loss differences and thresholds and prevents harmful updates through rollback. CoGraM is an optimization method that addresses the weaknesses of methods such as Fisher and can significantly improve the merged network.
• Abstract（参考訳）: リトレーニングなしのニューラルネットワークのマージは、フェデレーションと分散学習の中心である。 重量平均化やフィッシャーマージのような一般的な方法は、しばしば正確さを失い、種子間で不安定である。 CoGraM(Contextual Granular Merging)は、レイヤ、ニューロン、ウェイトレベルにわたる多段階、コンテキスト依存、損失ベースの反復最適化手法である。 CoGraMはFisherなどの手法の弱点に対処し、マージネットワークを大幅に改善する最適化手法である。

関連論文リスト

• A Novel Pearson Correlation-Based Merging Algorithm for Robust Distributed Machine Learning with Heterogeneous Data [0.0]
  本稿では,局所的な更新の質を改善し,グローバルモデルのロバスト性を高めるための新しい手法を提案する。 提案アルゴリズムは,グローバルモデルの精度を維持しながら,局所ノード数を削減する。 シミュレーション学習シナリオにおけるMNISTデータセットの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-01-19T16:59:07Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Towards Meta-Pruning via Optimal Transport [64.6060250923073]
  本稿では, フラニングパラダイムに挑戦する「イントラフュージョン」という新しいアプローチを提案する。 モデル融合と最適輸送の概念を利用して、より効果的なスパースモデル表現に到達する。 CIFAR-10, CIFAR-100, ImageNetなどの一般的なデータセット上で, 各種ネットワークのベンチマークを行った。
  論文  参考訳（メタデータ） (2024-02-12T17:50:56Z)
• Soft Merging: A Flexible and Robust Soft Model Merging Approach for Enhanced Neural Network Performance [6.599368083393398]
  グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。 エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。 実験は、統合されたネットワークの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-09-21T17:07:31Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。