論文の概要: Stream Learning: Partition-Fair Gossip Learning Without Tokens

• arxiv url: http://arxiv.org/abs/2608.06946v1
• Date: Fri, 07 Aug 2026 08:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.412671
• Title: Stream Learning: Partition-Fair Gossip Learning Without Tokens
• Title（参考訳）: ストリーム学習: パーティションフェアのゴシップ
• Abstract要約: ゴシップ学習では、ノードのネットワークは、ローカルモデルの一部を何度も交換することによって、中央コーディネータなしで、共有モデルを協調的に訓練する。 The State-of-the-art Protocol, Partitioned Token Gossip Learning (PTGL) of Hegeds et al.は、ウェイトマトリックスをS固定パーティションに分割し、近隣のメタデータ交換と結合したトークンベースのフェアネスメカニズムを用いてそれらを分散する。 我々の主な発見は、これらのプロトコルの最も単純なものは、局所的に最小に訓練されたパーティションを一様ランダムな隣人(Ri)に送信し、トークンカウンタも必要とせず、PTGLとフォールトフリーワークロードを一致させることである。
• 参考スコア（独自算出の注目度）: 42.360058202775626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In gossip learning, a network of nodes trains a shared model collaboratively, without a central coordinator, by repeatedly exchanging parts of their local models. The state-of-the-art protocol, Partitioned Token Gossip Learning (PTGL) of Heged{ü}s et al., splits the weight matrix into S fixed partitions and disseminates them using a token-based fairness mechanism coupled with per-neighbor metadata exchange. We revisit partition scheduling by analogy with peer-to-peer live streaming, where model partitions act as video chunks and partition age acts as chunk scarcity. The analogy yields a design space of two-stage selection strategies (partition first, or neighbor first), from which we instantiate ten concrete protocols collectively called Stream Learning. Our main finding is that the simplest of these protocols, which transmits the locally least-trained partition to a uniformly random neighbor (Ri), matches PTGL on fault-free workloads while requiring neither token counters nor metadata exchange. Under an adversarial 30% permanent crash of the best-performing nodes, Ri matches or outperforms PTGL across all complete-graph configurations tested, with the gap reaching 5.53% on HAR and 5.41% on MNIST in the most heterogeneous regime (Dirichlet $β$ = 0.1). In our experiments, partition fairness, captured by a single local rule on partition age, accounts for the gap; token-based rate control and utility maximization do not improve over this rule and, under heterogeneity, sit below it.
• Abstract（参考訳）: ゴシップ学習では、ノードのネットワークは、ローカルモデルの一部を何度も交換することによって、中央コーディネータなしで、共有モデルを協調的に訓練する。 Heged{ü}s et al の最先端プロトコルである Partitioned Token Gossip Learning (PTGL) は、ウェイトマトリックスをS固定分割に分割し、近隣のメタデータ交換と結合したトークンベースのフェアネスメカニズムを用いてそれらを分散する。 我々は、分割スケジューリングをピアツーピアライブストリーミングと類似して再検討し、モデル分割がビデオチャンクとして機能し、パーティション年齢がチャンク不足として機能する。 このアナロジーは、2段階選択戦略(第1部、第1部、第1部、第1部)の設計空間を生成し、そこからストリームラーニングと呼ばれる10の具体的なプロトコルをインスタンス化する。 我々の主な発見は、これらのプロトコルの最も単純なものは、トークンカウンタもメタデータ交換も必要とせず、PTGLとフォールトフリーワークロードを一致させながら、局所的に最小トレーニングされたパーティションを一様ランダムな隣人(Ri)に送信することである。 最も優れたノードの30%の永続的なクラッシュの下で、Riはテストされた全全グラフ構成でPTGLにマッチまたはオーバーパフォーマンスし、そのギャップは最も異質な状態のMNISTで5.53%、そして5.41%に達する(Dirichlet $β$ = 0.1)。 トークンベースの速度制御とユーティリティの最大化は、この規則よりも改善せず、不均一性の下では、その下に位置する。

関連論文リスト

• Distribution Alignment for One-Shot Federated Learning via Optimal Transport [9.015020587537864]
  One-Shot Federated Learning (OSFL)は、クライアントがサーバと一度だけ対話する極端な通信体制に対処する。 我々はOSFLのための幾何対応機能フレームワークSLOT-Alignを紹介する。 SLOT-Alignは、ジョイントドメインとラベルシフトの精度とロバスト性を一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-15T12:46:41Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• A Partitioned Sparse Variational Gaussian Process for Fast, Distributed Spatial Modeling [1.4549461207028445]
  次世代のエネルギースーパーコンピュータは、エクサスケール計算が可能である。 これらのマシンでは、ディスクに保存できるものよりもはるかに多くの計算が可能になります。 その場でトレーニングできる機械学習アルゴリズムには、緊急に必要なものがあります。
  論文  参考訳（メタデータ） (2025-07-22T17:20:07Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Unsupervised Deep Probabilistic Approach for Partial Point Cloud Registration [74.53755415380171]
  ディープポイントクラウド登録手法は、部分的に重複し、ラベル付きデータに依存するという課題に直面している。 部分的な重なりを持つ点雲に対する教師なしの深い確率的登録フレームワークであるUDPRegを提案する。 UDPRegは3DMatch/3DLoMatchとModelNet/ModelLoNetベンチマークの競合性能を実現しています。
  論文  参考訳（メタデータ） (2023-03-23T14:18:06Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD [29.6870062491741]
  Hogwilld!は共有メモリ設定上でSGDを並列化するゴーツーアプローチである。 本稿では,分散分散メモリを並列共有メモリSGD自体で動作するノードに組み込むことを提案する。
  論文  参考訳（メタデータ） (2022-03-13T11:52:24Z)
• Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression [18.24902526033056]
  Sparse Processing (STP) を用いたVoxelized PCGのマルチスケール表現による統合ポイントクラウド幾何 (PCG) 圧縮手法を開発した。 複雑性を適用することで複雑性を著しく減少させるのは、最も確率の高いVoxels(MP-POV)を中心とした畳み込みのみを実行するためである。 提案手法は,すべてのスケールでモデル共有を行うため,ポイントワイズによる軽量な複雑性と,小さなストレージ欲求を示す。
  論文  参考訳（メタデータ） (2021-11-20T17:02:45Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。