論文の概要: Robust Regression with Ensembles Communicating over Noisy Channels
- arxiv url: http://arxiv.org/abs/2408.10942v1
- Date: Tue, 20 Aug 2024 15:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 12:35:03.929063
- Title: Robust Regression with Ensembles Communicating over Noisy Channels
- Title（参考訳）: 雑音チャネル上で通信するアンサンブルを用いたロバスト回帰
- Authors: Yuval Ben-Hur, Yuval Cassuto,
- Abstract要約: 本稿では,付加雑音チャネルを介して通信する回帰アルゴリズムを実装したデバイス集合の問題について検討する。
本研究では,チャネル内の雑音のパラメータに対するアグリゲーション係数を最適化する手法を開発した。
本研究は,バギングと勾配向上という,最先端のアンサンブル回帰手法に適用した。
- 参考スコア（独自算出の注目度）: 16.344212996721346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine-learning models grow in size, their implementation requirements cannot be met by a single computer system. This observation motivates distributed settings, in which intermediate computations are performed across a network of processing units, while the central node only aggregates their outputs. However, distributing inference tasks across low-precision or faulty edge devices, operating over a network of noisy communication channels, gives rise to serious reliability challenges. We study the problem of an ensemble of devices, implementing regression algorithms, that communicate through additive noisy channels in order to collaboratively perform a joint regression task. We define the problem formally, and develop methods for optimizing the aggregation coefficients for the parameters of the noise in the channels, which can potentially be correlated. Our results apply to the leading state-of-the-art ensemble regression methods: bagging and gradient boosting. We demonstrate the effectiveness of our algorithms on both synthetic and real-world datasets.
- Abstract（参考訳）: 機械学習モデルのサイズが大きくなるにつれて、その実装要件は単一のコンピュータシステムでは満たされない。
この観察は、中央ノードが出力のみを集約する一方、中間計算が処理ユニットのネットワーク全体で実行される分散設定を動機付けている。
しかし、ノイズの多い通信チャネルのネットワーク上で動作している低精度または不良エッジデバイスに推論タスクを分散することは、重大な信頼性上の課題を引き起こす。
本研究では,共同回帰タスクを協調的に行うために,付加雑音チャネルを介して通信する回帰アルゴリズムを実装したデバイス集合の問題について検討する。
この問題を正式に定義し,チャネル内の雑音のパラメータに対するアグリゲーション係数を最適化する手法を開発した。
本研究は,バギングと勾配向上という,最先端のアンサンブル回帰手法に適用した。
合成と実世界の両方のデータセットにおけるアルゴリズムの有効性を実証する。
関連論文リスト
- Noise-Robust and Resource-Efficient ADMM-based Federated Learning [6.957420925496431]
フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。
本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-20T12:32:22Z) - Collaborative Edge AI Inference over Cloud-RAN [37.3710464868215]
クラウド無線アクセスネットワーク(Cloud-RAN)ベースの協調エッジAI推論アーキテクチャを提案する。
具体的には、地理的に分散したデバイスが、リアルタイムのノイズ破壊センサデータサンプルをキャプチャし、ノイズの多い局所特徴ベクトルを抽出する。
我々は,各RRHが同一リソースブロック上の全デバイスから局所的特徴ベクトルを同時に受信することを可能にする。
これらの集約された特徴ベクトルは量子化され、さらに集約および下流推論タスクのために中央プロセッサに送信される。
論文 参考訳（メタデータ） (2024-04-09T04:26:16Z) - Hierarchical Over-the-Air Federated Learning with Awareness of
Interference and Data Heterogeneity [3.8798345704175534]
本稿では,無線リソースを無線で効率よく利用するためのスケーラブルな伝送方式を提案する。
干渉とデータの不均一性にもかかわらず,提案手法は高い学習精度を達成し,従来の階層型アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-02T21:43:01Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Scalable Hierarchical Over-the-Air Federated Learning [3.8798345704175534]
この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。
本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。
干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
論文 参考訳（メタデータ） (2022-11-29T12:46:37Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳（メタデータ） (2022-06-08T18:18:18Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳（メタデータ） (2020-02-14T06:58:27Z) - Channel Assignment in Uplink Wireless Communication using Machine
Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。
我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。
計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文 参考訳（メタデータ） (2020-01-12T15:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。