論文の概要: Semantic-based Distributed Learning for Diverse and Discriminative Representations

• arxiv url: http://arxiv.org/abs/2604.18237v1
• Date: Mon, 20 Apr 2026 13:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.894308
• Title: Semantic-based Distributed Learning for Diverse and Discriminative Representations
• Title（参考訳）: 意味に基づく分散学習による多変量および識別的表現
• Authors: Zhuojun Tian, Chaouki Ben Issaid, Mehdi Bennis,
• Abstract要約: 大規模分散シナリオでは、ますます複雑なタスクはネットワーク間のよりインテリジェントなコラボレーションを要求する。 多様な表現と差別的な表現を両立させる分散学習フレームワークを提案する。 どちらの場合も、得られる最適解は理論的に差別的かつ多様な性質を維持することが証明される。
• 参考スコア（独自算出の注目度）: 26.214742067718277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large-scale distributed scenarios, increasingly complex tasks demand more intelligent collaboration across networks, requiring the joint extraction of structural representations from data samples. However, conventional task-specific approaches often result in nonstructural embeddings, leading to collapsed variability among data samples within the same class, particularly in classification tasks. To address this issue and fully leverage the intrinsic structure of data for downstream applications, we propose a novel distributed learning framework that ensures both diverse and discriminative representations. For independent and identically distributed (i.i.d.) data, we reformulate and decouple the global optimization function by introducing constraints on representation variance. The update rules are then derived and simplified using a primal-dual approach. For non-i.i.d. data distributions, we tackle the problem by clustering and virtually replicating nodes, allowing model updates within each cluster using block coordinate descent. In both cases, the resulting optimal solutions are theoretically proven to maintain discriminative and diverse properties, with a guaranteed convergence for i.i.d. conditions. Additionally, semantic information from representations is shared among nodes, reducing the need for common neural network architectures. Finally, extensive simulations on MNIST, CIFAR-10 and CIFAR-100 confirm the effectiveness of the proposed algorithms in capturing global structural representations.
• Abstract（参考訳）: 大規模分散シナリオでは、ますます複雑なタスクはネットワーク間のよりインテリジェントなコラボレーションを必要とし、データサンプルから構造的表現を共同で抽出する必要がある。 しかし、従来のタスク固有のアプローチは、しばしば非構造的な埋め込みをもたらし、特に分類タスクにおいて、同じクラス内のデータサンプル間でのばらつきをもたらす。 この問題に対処し、下流アプリケーションにおけるデータ固有の構造を完全に活用するために、多様性と差別的な表現を両立させる新しい分散学習フレームワークを提案する。 独立かつ同一に分散された(d.d.)データに対して、表現分散に関する制約を導入することにより、グローバル最適化関数を再構成し、分離する。 更新ルールは、プリミティブ・デュアルアプローチを使用して導出され、単純化される。 非単位のデータ分散では、ノードをクラスタ化して仮想的に複製することで問題に対処し、ブロック座標降下を用いて各クラスタ内のモデル更新を可能にする。 どちらの場合も、結果の最適解は理論的には差別的かつ多様な性質を維持することが証明され、すなわち条件の収束が保証される。 さらに、表現からのセマンティック情報はノード間で共有され、共通のニューラルネットワークアーキテクチャの必要性が軽減される。 最後に、MNIST、CIFAR-10、CIFAR-100の広範なシミュレーションにより、提案アルゴリズムがグローバルな構造表現を捕捉する際の有効性を確認した。

関連論文リスト

• Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data [2.5157688901171995]
  Lottery Ticket仮説は、大きなネットワークにはスパースワークや勝利チケットが含まれており、密集したネットワークのパフォーマンスに合わせて個別にトレーニングすることができると仮定している。 本稿では,適応チケット(Adaptive ticket)と呼ばれる,複数の専用プルーニングワークを発見する適応型プルーニングフレームワークであるRouting Lottery(RTL)を提案する。 我々の結果は、プラニングをデータ不均一性とモデル構造を整合させるメカニズムとして再考し、よりモジュラーでコンテキスト対応の深層学習への道を開いた。
  論文  参考訳（メタデータ） (2026-01-29T18:56:41Z)
• Self-supervised Latent Space Optimization with Nebula Variational Coding [87.20343320266215]
  本稿では,クラスタ化埋め込みに繋がる変分推論モデルを提案する。 textbfnebula anchorsと呼ばれる潜伏空間に新たな変数を導入し、トレーニング中に潜伏変数がクラスタを形成するように誘導する。 各潜在機能は最も近いアンカーでラベル付けできるため、クラスタ間の分離をより明確にするために、自己教師付き方法でメートル法学習を適用することも提案する。
  論文  参考訳（メタデータ） (2025-06-02T08:13:32Z)
• Communication-Efficient Personalized Distributed Learning with Data and Node Heterogeneity [40.64395367773766]
  本稿では,コミュニケーション効率のよいパーソナライズされた学習アルゴリズムを考案した分散強抽選チケット仮説(TH)を提案する。 提案手法では,各局所モデルは,大域的実数値パラメータのアダマール積とパーソナライズされた2値マスクとして表現される。 本稿では,DSLTHの理論的証明を提案し,提案手法の基礎として確立する。
  論文  参考訳（メタデータ） (2025-04-24T13:02:54Z)
• Client Selection in Federated Learning with Data Heterogeneity and Network Latencies [19.161254709653914]
  Federated Learning(FL)は、複数のクライアントがプライベートデータに基づいてローカルトレーニングを行う分散機械学習パラダイムである。 本稿では,両不均一性を扱う理論的に最適なクライアント選択方式を2つ提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:31:15Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Flexible inference in heterogeneous and attributed multilayer networks [21.349513661012498]
  我々は任意の種類の情報を持つ多層ネットワークで推論を行う確率的生成モデルを開発した。 インド農村部における社会支援ネットワークにおける様々なパターンを明らかにする能力を示す。
  論文  参考訳（メタデータ） (2024-05-31T15:21:59Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• AdaptDHM: Adaptive Distribution Hierarchical Model for Multi-Domain CTR Prediction [4.299153274884263]
  本稿では,適応分布階層モデル (Adaptive Distribution Hierarchical Model, AdaptDHM) という,エレガントで柔軟なマルチディストリビューション・モデリング手法を提案する。 本モデルでは, 予測精度が向上し, トレーニング期間中の時間コストは, 他のモデルに比べて50%以上低下する。
  論文  参考訳（メタデータ） (2022-11-22T09:10:37Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。