論文の概要: OptINC: Optical In-Network-Computing for Scalable Distributed Learning

• arxiv url: http://arxiv.org/abs/2603.28290v1
• Date: Mon, 30 Mar 2026 11:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.352133
• Title: OptINC: Optical In-Network-Computing for Scalable Distributed Learning
• Title（参考訳）: OptINC: スケーラブル分散学習のための光ネットワーク計算
• Authors: Sijie Fei, Grace Li Zhang, Bing Li, Ulf Schlichtmann,
• Abstract要約: 我々は、サーバ内の計算を光配線にオフロードする光ネットワーク計算(INC)アーキテクチャを提案する。 このような事実上の光学ニューラルネットワーク(ONN)は、既存の分散トレーニングソリューションにおける通信オーバーヘッドを効果的に低減することができる。 提案手法は、CIFAR-100上のResNet50やWikipedia-1B上のLLaMAベースのネットワークなど、実際の分散学習タスクに基づいて評価された。
• 参考スコア（独自算出の注目度）: 8.207258785260722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning is widely used for training large models on large datasets by distributing parts of the model or dataset across multiple devices and aggregating the computed results for subsequent computations or parameter updates. Existing communication algorithms for distributed learning such as ring all-reduce result in heavy communication overhead between servers. Since communication in large-scale systems uses optical fibers, we propose an Optical In-Network-Computing (OptINC) architecture to offload the computation in servers onto the optical interconnects. To execute gradient averaging and quantization in the optical domain, we incorporate optical devices such as Mach-Zehnder-Interferometers (MZIs) into the interconnects. Such a de facto optical neural network (ONN) can effectively reduce the communication overhead in existing distributed training solutions. To reduce dataset complexity for training this neural network, a preprocessing algorithm implemented in the optical domain is also proposed. Hardware cost is lowered by approximating the weight matrices of the optical neural network with unitary and diagonal matrices, while the accuracy is maintained by a proposed hardware-aware training algorithm. The proposed solution was evaluated on real distributed learning tasks, including ResNet50 on CIFAR-100, and a LLaMA-based network on Wikipedia-1B. In both cases, the proposed framework can achieve comparable training accuracy to the ring all-reduce baseline, while eliminating communication overhead.
• Abstract（参考訳）: 分散学習は、モデルやデータセットの一部を複数のデバイスに分散させ、その後の計算やパラメータ更新のために計算結果を集約することで、大規模なデータセット上の大規模なモデルをトレーニングするために広く使用されている。 リングオールリデュースのような分散学習のための既存の通信アルゴリズムは、サーバ間の通信オーバーヘッドを増大させる。 大規模システムにおける通信は光ファイバーを使用するため,サーバ内の計算を光配線にオフロードするOptINCアーキテクチャを提案する。 光領域における勾配平均化と量子化を行うため、MZI(Mach-Zehnder-Interferometers)などの光学素子を配線に組み込む。 このような事実上の光学ニューラルネットワーク(ONN)は、既存の分散トレーニングソリューションにおける通信オーバーヘッドを効果的に低減することができる。 このニューラルネットワークをトレーニングする際のデータセットの複雑さを低減するために、光学領域で実装された前処理アルゴリズムも提案されている。 ハードウェアコストは、光学ニューラルネットワークの重み行列をユニタリ行列と対角行列で近似することにより低下するが、その精度は、提案されたハードウェア対応トレーニングアルゴリズムによって維持される。 提案手法は、CIFAR-100上のResNet50やWikipedia-1B上のLLaMAベースのネットワークなど、実際の分散学習タスクに基づいて評価された。 どちらの場合も、提案フレームワークは、通信オーバーヘッドを排除しつつ、全リデュースベースラインに匹敵する訓練精度を達成できる。

関連論文リスト

• Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
  Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。 本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。 提案手法の収束性能を定量化するために理論的解析を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:43:03Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation [0.0]
  本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。 ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。 統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:27:01Z)
• Neural Architecture Search for Improving Latency-Accuracy Trade-off in Split Computing [5.516431145236317]
  スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。 スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。 本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-08-30T03:15:43Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。