論文の概要: On the effects of similarity metrics in decentralized deep learning under distributional shift

• arxiv url: http://arxiv.org/abs/2409.10720v1
• Date: Mon, 16 Sep 2024 20:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 18:40:30.076775
• Title: On the effects of similarity metrics in decentralized deep learning under distributional shift
• Title（参考訳）: 分散化深層学習における分布シフトによる類似度指標の効果について
• Authors: Edvin Listo Zec, Tom Hagander, Eric Ihre-Thomason, Sarunas Girdzijauskas,
• Abstract要約: 分散学習(DL)は、組織やユーザ間のプライバシー保護コラボレーションを可能にする。 本稿では,モデルマージのためのピア識別のためのDLにおける様々な類似度指標の有効性について検討する。
• 参考スコア（独自算出の注目度）: 2.6763602268733626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized Learning (DL) enables privacy-preserving collaboration among organizations or users to enhance the performance of local deep learning models. However, model aggregation becomes challenging when client data is heterogeneous, and identifying compatible collaborators without direct data exchange remains a pressing issue. In this paper, we investigate the effectiveness of various similarity metrics in DL for identifying peers for model merging, conducting an empirical analysis across multiple datasets with distribution shifts. Our research provides insights into the performance of these metrics, examining their role in facilitating effective collaboration. By exploring the strengths and limitations of these metrics, we contribute to the development of robust DL methods.
• Abstract（参考訳）: 分散学習(DL)は、組織やユーザ間のプライバシ保護コラボレーションによって、ローカルなディープラーニングモデルのパフォーマンス向上を可能にする。 しかし、クライアントデータが異種である場合、モデル集約は困難になり、直接データ交換なしで互換性のあるコラボレータを識別することは、依然として迫る問題である。 本稿では,モデルマージのためのピアを特定するためのDLにおける様々な類似度指標の有効性について検討し,分散シフトを伴う複数のデータセットにまたがる経験的分析を行う。 私たちの研究は、これらのメトリクスのパフォーマンスに関する洞察を提供し、効果的なコラボレーションを促進する上での彼らの役割を調べます。 これらの指標の長所と短所を探索することにより、堅牢なDL手法の開発に寄与する。

関連論文リスト

• Decentralized Personalized Federated Learning [4.5836393132815045]
  私たちは、パーソナライズされたモデルのトレーニングに適したコラボレータを選択する際に、各クライアントをガイドするコラボレーショングラフの作成に重点を置いています。 従来の手法とは違って,クライアントの欲求関係を考慮し,より粒度の細かい共同作業者を特定する。 これを実現するために,制約付きアルゴリズムを用いた二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:58:48Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Distributed Continual Learning [12.18012293738896]
  本稿では,分散連続学習の本質的側面を捉える数学的枠組みを提案する。 データインスタンス、完全なモデルパラメータ、モジュール化された(部分的な)モデルパラメータです。 タスクが複雑になるにつれて、データを共有するよりも、パラメータを共有する方が効率的です。
  論文  参考訳（メタデータ） (2024-05-23T21:24:26Z)
• Causal Coordinated Concurrent Reinforcement Learning [8.654978787096807]
  本稿では,データ共有と協調探索のための新しいアルゴリズムフレームワークを提案する。 本アルゴリズムは,独立規制による個人差分制御モデルパラメータの抽出において,付加雑音モデル-混合モデル(ANM-MM)という形で因果推論アルゴリズムを利用する。 抽出したモデルパラメータの類似度に基づく新しいデータ共有方式を提案し, 自己回帰, 振り子, カートポールのスイングアップタスクのセットにおいて, 優れた学習速度を示す。
  論文  参考訳（メタデータ） (2024-01-31T17:20:28Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Evaluating and Incentivizing Diverse Data Contributions in Collaborative Learning [89.21177894013225]
  フェデレートされた学習モデルがうまく機能するためには、多様で代表的なデータセットを持つことが不可欠である。 データの多様性を定量化するために用いられる統計的基準と、使用するフェデレート学習アルゴリズムの選択が、結果の平衡に有意な影響を及ぼすことを示す。 我々はこれを活用して、データ収集者がグローバルな人口を代表するデータに貢献することを奨励する、シンプルな最適なフェデレーション学習機構を設計する。
  論文  参考訳（メタデータ） (2023-06-08T23:38:25Z)
• Collaborative Learning via Prediction Consensus [38.89001892487472]
  我々は,協力者の専門知識を活用して,各エージェントの目標が自身のモデルを改善するための協調学習環境を考える。 本研究では, 共分散ラベル付き補助データを利用した蒸留法を提案する。 我々は,協調方式が個々のモデルの性能を大幅に向上させることができることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-05-29T14:12:03Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)
• Personalized Cross-Silo Federated Learning on Non-IID Data [62.68467223450439]
  非IIDデータは、連合学習にとって難しい課題である。 我々は、類似したデータを持つクライアント間のペアワイズコラボレーションという新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2020-07-07T21:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。