論文の概要: TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems

• arxiv url: http://arxiv.org/abs/2606.25627v1
• Date: Wed, 24 Jun 2026 09:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.297075
• Title: TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems
• Title（参考訳）: TL++: 分散インテリジェントシステムのためのトラバース学習のための正確性とプライバシ保護
• Abstract要約: TL++は,ノード間の仮想バッチを構築し,集中型ミニバッチ勾配を回復する2モード学習フレームワークである。 セキュアモードは、各カット層活性化とオーケストレータと非凝固ヘルパー間の勾配を秘密に共有する。 CIFAR-10では、TL++ベースカット1と正確なセキュアカット3がそれぞれ91.41%(SD 0.19)と90.93%(SD 0.179)のアキュラティを達成し、最強の非TL++ベースラインを12ポイント以上超えた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed intelligent systems increasingly need to train across data silos without centralizing raw data. Federated learning keeps data local but can suffer under heterogeneous partitions and requires repeated full-model exchange. Split learning reduces communication through cut-layer activations, but standard protocols generally do not recover centralized mini-batch gradient behavior and may expose activations and gradients in plaintext. We present TL++, a two-mode traversal-learning framework that constructs virtual batches across nodes to recover centralized mini-batch gradient behavior under explicit synchronization assumptions. Base mode exchanges cut-layer activations and gradients rather than full models. Secure mode secret-shares each cut-layer activation and gradient between an orchestrator and a non-colluding helper, preventing either server from observing plaintext cut-layer tensors. This protection is limited to a semi-honest two-server setting; labels and loss-related outputs remain visible to the orchestrator. In the lightweight secure path evaluated here, exactness requires a linear or affine server path, while nonlinear operations require nonlinear MPC or approximation. We formalize TL++, analyze communication and computation costs, and evaluate it against federated and split-learning baselines on CIFAR-10 and BioGPT/PubMedQA using full fine-tuning and LoRA. On CIFAR-10, TL++ base cut 1 and exact secure cut 3 achieve accuracies of 91.41% (SD 0.19) and 90.93% (SD 0.17), respectively, exceeding the strongest measured non-TL++ baseline by more than 12 percentage points. TL++ base cut 1 also reduces per-step communication by 13.1-fold relative to full-model synchronization. PubMedQA results similarly favor TL++. Overall, TL++ approaches centralized-training performance while reducing communication and providing activation-level secret sharing.
• Abstract（参考訳）: 分散インテリジェントシステムは、生データを集中することなく、データサイロを横断してトレーニングする必要がある。 フェデレーション学習はデータをローカルに保持するが、不均一なパーティションに悩まされ、フルモデル交換を繰り返す必要がある。 分割学習は、カット層アクティベーションによるコミュニケーションを減らすが、標準プロトコルは通常、集中型ミニバッチ勾配の挙動を回復せず、平文でアクティベーションとグラデーションを公開する。 TL++は,ノード間の仮想バッチを構成する2モードのトラバース学習フレームワークで,明示的な同期仮定の下での集中型ミニバッチ勾配の挙動を復元する。 ベースモードは、フルモデルではなくカット層活性化と勾配を交換する。 セキュアモードは、各カット層活性化とオーケストレータと非凝固ヘルパー間の勾配を秘密にし、どちらのサーバも平文カット層テンソルを観測できないようにする。 この保護は半最高級の2サーバ設定に限られており、ラベルと損失関連の出力はオーケストレータに残されている。 ここで評価された軽量なセキュアパスでは、正確性は線形またはアフィンサーバーパスを必要とし、非線形操作は非線形MPCまたは近似を必要とする。 CIFAR-10 と BioGPT/PubMedQA を用いた TL++ を定式化し,通信コストと計算コストを分析し,それを CIFAR-10 と BioGPT/PubMedQA のフェデレーションおよび分割学習ベースラインと比較した。 CIFAR-10では、TL++ベースカット1と正確なセキュアカット3がそれぞれ91.41%(SD 0.19)と90.93%(SD 0.17)のアキュラティを達成し、最強の非TL++ベースラインを12ポイント以上越えている。 TL++ベースカット1は、フルモデル同期と比較して、ステップごとの通信を13.1倍削減する。 PubMedQAの結果も同様にTL++を好んでいる。 全体として、TL++は、コミュニケーションを減らし、アクティベーションレベルのシークレット共有を提供しながら、集中的なトレーニングパフォーマンスにアプローチする。

関連論文リスト

• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections [54.51153206716027]
  Split Learning(SL)は、ニューラルネットワークをクライアントと中央サーバに分割することで、協調的なトレーニングを可能にする。 カット層に軽量な固定ランダムプロジェクションを適用することにより,情報露出を制限し,通信オーバーヘッドを低減するLightSplitを提案する。 提案手法は, 伝送次元の最大32倍の精度で, 95%以上の精度を維持できることを示した。
  論文  参考訳（メタデータ） (2026-05-13T09:45:49Z)
• Decoupled Split Learning via Auxiliary Loss [11.21293654556267]
  Split Learningは、ニューラルネットワークをクライアントとサーバ間で分割する分散トレーニングパラダイムである。 従来のスプリットラーニングは、クライアントとサーバのスプリットポイントをまたいだエンドツーエンドのバックプロパゲーションに依存しています。 分割学習のための超越的バックプロパゲーション学習法を開発した。
  論文  参考訳（メタデータ） (2026-01-27T06:41:42Z)
• Distributed Training under Packet Loss [8.613477072763404]
  信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。 そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。 この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-07-02T11:07:20Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• Silenzio: Secure Non-Interactive Outsourced MLP Training [5.3909333359654275]
  私たちはSilenuioを紹介します。Silenuioは、固有のMLスキルのトレーニングのための、最初の完全にインタラクティブなアウトソーシングスキームです。 Silenzio は FHE 固有の計算オーバーヘッドのために、完全に低ビット幅の整数上で動作する。
  論文  参考訳（メタデータ） (2025-04-24T17:59:22Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Distributed Learning based on 1-Bit Gradient Coding in the Presence of Stragglers [27.253728528979572]
  ストラグラーの存在下での勾配学習の問題点を考察する。 1ビット勾配符号化(1ビットGCDL)に基づく新しいDL法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T06:48:40Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Domain-specific Communication Optimization for Distributed DNN Training [10.781867496460837]
  本稿では,DNN訓練の通信オーバーヘッドをきめ細かな方法で最適化するために,ディープラーニングのドメイン固有性を利用した新しいソリューションDLCPを提案する。 これは、SGDベースのトレーニングの有界損失耐性を利用して、勾配圧縮によって純粋に回避できない尾の通信遅延を改善する。 その後、フローレベルのスケジューリングとは対照的に、粒度の細かいパケットレベルの優先順位付けとドロップを行い、グレードの層や大きさに基づいて、精度に影響を与えることなくモデル収束をさらに高速化する。
  論文  参考訳（メタデータ） (2020-08-16T09:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。