Fugu-MT 論文翻訳(概要): Non-Coherent Over-the-Air Decentralized Gradient Descent

論文の概要: Non-Coherent Over-the-Air Decentralized Gradient Descent

arxiv url: http://arxiv.org/abs/2211.10777v2
Date: Tue, 19 Mar 2024 00:53:45 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 01:51:05.885420
Title: Non-Coherent Over-the-Air Decentralized Gradient Descent
Title（参考訳）: 非コヒーレントオーバーザエア分散グラディエント染料
Authors: Nicolo Michelusi,
Abstract要約: Decentralized Gradient Descent (DGD) は分散最適化問題の解法としてよく用いられるアルゴリズムである。本稿では,無線システムに適したDGDアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Decentralized Gradient Descent (DGD) is a popular algorithm used to solve decentralized optimization problems in diverse domains such as remote sensing, distributed inference, multi-agent coordination, and federated learning. Yet, executing DGD over wireless systems affected by noise, fading and limited bandwidth presents challenges, requiring scheduling of transmissions to mitigate interference and the acquisition of topology and channel state information -- complex tasks in wireless decentralized systems. This paper proposes a DGD algorithm tailored to wireless systems. Unlike existing approaches, it operates without inter-agent coordination, topology information, or channel state information. Its core is a Non-Coherent Over-The-Air (NCOTA) consensus scheme, exploiting a noisy energy superposition property of wireless channels. With a randomized transmission strategy to accommodate half-duplex operation, transmitters map local optimization signals to energy levels across subcarriers in an OFDM frame, and transmit concurrently without coordination. It is shown that received energies form a noisy consensus signal, whose fluctuations are mitigated via a consensus stepsize. NCOTA-DGD leverages the channel pathloss for consensus formation, without explicit knowledge of the mixing weights. It is shown that, for the class of strongly-convex problems, the expected squared distance between the local and globally optimum models vanishes with rate $\mathcal O(1/\sqrt{k})$ after $k$ iterations, with a proper design of decreasing stepsizes. Extensions address a broad class of fading models and frequency-selective channels. Numerical results on an image classification task depict faster convergence vis-\`a-vis running time than state-of-the-art schemes, especially in densely deployed networks.
Abstract（参考訳）: Decentralized Gradient Descent (DGD) は、リモートセンシング、分散推論、マルチエージェント調整、フェデレーション学習など、さまざまな領域における分散最適化問題を解決するために使われる一般的なアルゴリズムである。しかし、ノイズ、フェード、帯域幅の制限によって影響を受ける無線システム上でDGDを実行することは、干渉を軽減するために送信のスケジューリングが必要であり、また、無線分散システムにおける複雑なタスクであるトポロジとチャネル状態情報を取得する必要がある。本稿では,無線システムに適したDGDアルゴリズムを提案する。既存のアプローチとは異なり、エージェント間の調整、トポロジー情報、チャネル状態情報なしで動作している。その中核は非コヒーレントオーバー・ザ・エア(NCOTA)コンセンサススキームであり、無線チャネルのノイズの多いエネルギー重畳特性を利用する。半二重演算に対応するランダム化された伝送戦略により、送信機はOFDMフレーム内のサブキャリア全体のエネルギーレベルに局所最適化信号をマッピングし、調整なしで同時に送信する。受信したエネルギーは雑音の多いコンセンサス信号を形成し、その変動はコンセンサスステップサイズによって緩和される。 NCOTA-DGDはチャネルパスロスを利用してコンセンサスを形成する。強凸問題のクラスでは、局所的モデルと大域的最適モデルの間の期待二乗距離が$$\mathcal O(1/\sqrt{k})$ の後に消失し、ステップサイズを減少させる適切な設計が示される。拡張は、幅広い種類のフェージングモデルと周波数選択チャネルに対処する。画像分類タスクの数値的な結果は、特に密に配置されたネットワークにおいて、最先端のスキームよりも高速な収束 vis-\`a-vis 実行時間を示している。

関連論文リスト

Decentralized Optimization in Time-Varying Networks with Arbitrary Delays [22.40154714677385]
通信遅延によるネットワークの分散最適化問題を考察する。そのようなネットワークの例としては、協調機械学習、センサーネットワーク、マルチエージェントシステムなどがある。通信遅延を模倣するため、ネットワークに仮想非計算ノードを追加し、有向グラフを生成する。
論文参考訳（メタデータ） (2024-05-29T20:51:38Z)
TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文参考訳（メタデータ） (2024-04-11T15:39:10Z)
SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel Allocation in Cognitive Interference Networks [10.514231683620517]
本稿では,複数の大規模ネットワークによるキャリヤ間干渉(ICI)とチャネル再利用を経験する実世界のシステムに焦点を当てる。 CARLTON(Channel Allocation RL To Overlapped Networks)と呼ばれる分散DCAのための新しいマルチエージェント強化学習フレームワークを提案する。本結果は,従来の最先端手法に比べて優れた効率性を示し,優れた性能とロバストな一般化を示した。
論文参考訳（メタデータ） (2024-02-17T20:03:02Z)
Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling [36.99249604183772]
この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
論文参考訳（メタデータ） (2023-10-24T18:15:52Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Bandwidth-efficient distributed neural network architectures with application to body sensor networks [73.02174868813475]
本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
論文参考訳（メタデータ） (2022-10-14T12:35:32Z)
Over-the-Air Decentralized Federated Learning [28.593149477080605]
本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
論文参考訳（メタデータ） (2021-06-15T09:42:33Z)
Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文参考訳（メタデータ） (2021-06-02T07:36:27Z)
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-30T10:05:35Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)
Decentralized SGD with Over-the-Air Computation [13.159777131162961]
無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。伝送は付加的なノイズや干渉を生じやすいと仮定する。 OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
論文参考訳（メタデータ） (2020-03-06T15:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。