論文の概要: Distributed Subliminal Learning: Replacing Model Updates with Random-Carrier Outputs

• arxiv url: http://arxiv.org/abs/2610.05378v1
• Date: Sun, 04 Oct 2026 17:07:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 14:16:20.63133
• Title: Distributed Subliminal Learning: Replacing Model Updates with Random-Carrier Outputs
• Title（参考訳）: 分散サブリミナル学習:ランダムキャリア出力によるモデル更新の置き換え
• Abstract要約: 協調学習は通常モデルパラメータを交換するが、独立に適応した基礎モデルはアダプタやチェックポイントを交換することによって結合される。 分散サブリミナル学習(NIST)は,共通モデルを局所的に適応させ,タスク非関連入力で探索し,結果のキャリア出力のみを送信する,協調学習プリミティブである。
• 参考スコア（独自算出の注目度）: 8.625976018987965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Collaborative learning typically exchanges model parameters: federated clients communicate updates, while independently adapted foundation models are combined by exchanging adapters or checkpoints. This makes communication scale with model size and requires local specializations to be reconciled in weight space, where interference is common. We ask whether knowledge can instead be shared through model behavior on task-unrelated inputs. We introduce Distributed Subliminal Learning (DSL), a collaborative learning primitive in which participants adapt a common model locally, probe it with task-unrelated inputs, and transmit only the resulting carrier outputs. A coordinator pools these outputs and distills them into a shared model. The primitive supports one-shot foundation-model composition through carrier completions and iterative federated learning through carrier logits, without transmitting model updates or requiring task-related proxy data. In LLM composition, compared with LoRA averaging, DSL achieves higher preference retention (94.56% vs. 87.76%) and a larger GSM8K gain over the base model (22.0 vs. 0.6 points), while reducing upload by 30.6-49.0$\times$. In federated classification, DSL reaches 96.83% on MNIST with 8.9$\times$ less uplink than FedAvg and provides lower-communication operating points on CIFAR-10 and Tiny ImageNet. These results establish random-carrier outputs as a practical communication primitive for knowledge sharing across distinct collaborative learning paradigms.
• Abstract（参考訳）: フェデレートされたクライアントは更新を伝達するが、独立して適応された基礎モデルはアダプタやチェックポイントを交換することによって結合される。 これにより、通信スケールはモデルサイズと一致し、干渉が一般的である重み空間において局所的な特殊化を必要とする。 タスク非関連入力のモデル行動を通じて知識を共有できるかどうかを問う。 我々は,共通モデルをローカルに適応させ,タスク非関連入力で探索し,その結果のキャリア出力のみを送信する,協調学習プリミティブである分散サブリミナルラーニング(DSL)を紹介した。 コーディネータはこれらの出力をプールし、それらを共有モデルに蒸留する。 プリミティブは、キャリア完了とキャリアログによる反復的なフェデレーション学習を通じて、モデル更新を送信したり、タスク関連のプロキシデータを必要とすることなく、ワンショットのファンデーションモデル合成をサポートする。 LLMの合成では、LoRA平均値と比較して、DSLはより高い優先度保持(94.56%対87.76%)、ベースモデルよりも大きなGSM8Kゲイン(22.0対0.6ポイント)を達成し、アップロードを30.6-49.0$\times$に減らした。 連合分類では、DSLはMNIST上で96.83%に達し、FedAvgよりも8.9$\times$ uplinkが低く、CIFAR-10とTiny ImageNetで低コミュニケーションの操作ポイントを提供する。 これらの結果は、異なる協調学習パラダイム間の知識共有のための実践的なコミュニケーションプリミティブとしてランダムキャリアアウトプットを確立する。

関連論文リスト

• RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
  クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。 本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
  論文  参考訳（メタデータ） (2026-10-02T09:35:39Z)
• One-Shot Federated Learning with Classifier-Free Diffusion Models [7.338353383261602]
  ワンショットフェデレーション学習(OSFL)は、単一のコミュニケーションラウンドでグローバルモデルを構築することで、この問題に対処する。 OSCARはシンプルだが費用対効果の高いOSFLアプローチで、4つのデータセットで最先端を上回り、通信負荷を少なくとも99%削減する。
  論文  参考訳（メタデータ） (2025-02-12T15:23:29Z)
• ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals [24.13593410107805]
  フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。 モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。 共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
  論文  参考訳（メタデータ） (2022-12-11T20:34:52Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Federated Learning via Decentralized Dataset Distillation in Resource-Constrained Edge Environments [11.46918838480981]
  連合学習では、すべてのネットワーク化されたクライアントがモデルトレーニングに協力的に貢献する。 モデルのサイズが大きくなると、トレーニングされた部分モデルを共有することさえも、深刻な通信ボトルネックにつながることが多い。 我々は,データセット蒸留インスタンスを統合することで,ワンショット通信のみを必要とするフェデレート学習フレームワークであるFedD3を紹介した。
  論文  参考訳（メタデータ） (2022-08-24T05:36:22Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning [2.724649101295584]
  フェデレートラーニングは、ローカルノードでトレーニングされたローカルモデルを集約することで、グローバルモデルのトレーニングを可能にした。 完全分散協調型機械学習システムWAFLを提案する。 WAFLはノード間のモデルパラメータの収束を一般化へ向けた。
  論文  参考訳（メタデータ） (2022-05-24T04:37:11Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。