Fugu-MT 論文翻訳(概要): Communication Bounds for the Distributed Experts Problem

論文の概要: Communication Bounds for the Distributed Experts Problem

arxiv url: http://arxiv.org/abs/2501.03132v1
Date: Mon, 06 Jan 2025 16:50:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-07 17:06:29.092499
Title: Communication Bounds for the Distributed Experts Problem
Title（参考訳）: 分散エキスパート問題のコミュニケーション境界
Authors: Zhihao Jia, Qi Pang, Trung Tran, David Woodruff, Zhihao Zhang, Wenting Zheng,
Abstract要約: 複数のサーバにまたがって専門家のコストを集約する必要がある分散環境での専門家の問題を調査する。本稿では,これらの設定において,ほぼ最適に後悔する通信効率の高いプロトコルを提案する。
参考スコア（独自算出の注目度）: 12.08320781973718
License:
Abstract: In this work, we study the experts problem in the distributed setting where an expert's cost needs to be aggregated across multiple servers. Our study considers various communication models such as the message-passing model and the broadcast model, along with multiple aggregation functions, such as summing and taking the $\ell_p$ norm of an expert's cost across servers. We propose the first communication-efficient protocols that achieve near-optimal regret in these settings, even against a strong adversary who can choose the inputs adaptively. Additionally, we give a conditional lower bound showing that the communication of our protocols is nearly optimal. Finally, we implement our protocols and demonstrate empirical savings on the HPO-B benchmarks.
Abstract（参考訳）: 本研究では,複数のサーバにまたがって専門家のコストを集約する必要がある分散環境でのエキスパート問題について検討する。本研究では、メッセージパッシングモデルやブロードキャストモデルなどの各種通信モデルと、サーバ間でのエキスパートのコストに関する$\ell_p$ノルムの和や取り合いなど、複数のアグリゲーション機能について考察する。本稿では,これらの設定において,入力を適応的に選択できる強い相手に対しても,ほぼ最適に後悔する通信効率の高いプロトコルを提案する。さらに,プロトコルの通信がほぼ最適であることを示す条件付き下界を与える。最後に,このプロトコルを実装し,HPO-Bベンチマークに実証的な節約効果を示す。

関連論文リスト

Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
Comet: A Communication-efficient and Performant Approximation for Private Transformer Inference [16.328220661765744]
推論性能を損なうことなく通信コストを削減するために,新しいプラグイン方式Cometを導入する。私たちは、GLUEベンチマークデータセットでComet on BertとRoBERTaモデルを評価し、通信の少ない3.9$times$と3.5$times$ Speedupsを示しました。
論文参考訳（メタデータ） (2024-05-24T18:43:00Z)
Generative AI Agents with Large Language Model for Satellite Networks via a Mixture of Experts Transmission [74.10928850232717]
本稿では、モデル定式化のための生成人工知能(AI)エージェントを開発し、送信戦略の設計に専門家(MoE)の混合を適用した。具体的には,大規模言語モデル(LLM)を活用して対話型モデリングパラダイムを構築する。定式化問題の解法として, MoE-proximal Policy Optimization (PPO) アプローチを提案する。
論文参考訳（メタデータ） (2024-04-14T03:44:54Z)
Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users [95.77678166036561]
繊細な通信プロトコルを用いたUPB型アルゴリズムを提案する。同期フレームワークで達成されたものと同等のサブ線形後悔境界を与えます。合成および実世界のデータセットに関する実証評価は、後悔と通信コストの観点から、我々のアルゴリズムの優れた性能を検証する。
論文参考訳（メタデータ） (2024-02-26T05:31:14Z)
Exploiting Inter-Layer Expert Affinity for Accelerating Mixture-of-Experts Model Inference [3.217776693788795]
本稿では,事前学習したMoEモデルの推論を高速化するために,ExFlowと呼ばれる軽量な最適化手法を提案する。層間エキスパート親和性を利用して, 微調整や精度の低下を伴わずに, 事前学習したMoEモデルに直接適用することができる。我々のソリューションは、8から64のエキスパートによる最先端のMoE実装を破り、推論スループットを最大2.2倍改善しました。
論文参考訳（メタデータ） (2024-01-16T14:16:47Z)
LMaaS: Exploring Pricing Strategy of Large Model as a Service for Communication [11.337245234301857]
有料サービスモードは、LM(Large Model as a Service)と呼ばれるこの文脈に適していると我々は主張する。本稿では,顧客の将来的なレンタル決定を推論することで,大規模モデルの価格を反復的に最適化する反復モデル価格(IMP)アルゴリズムを提案する。第2ステップでは、ロバストな選択とレンタルのアルゴリズムを設計することで、顧客の選択決定を最適化する。
論文参考訳（メタデータ） (2024-01-05T07:19:19Z)
Flooding with Absorption: An Efficient Protocol for Heterogeneous Bandits over Complex Networks [30.94416632071414]
我々は,各エージェントがそれぞれ異なるアームを持つバンドイットインスタンスを解くマルチエージェント設定について検討する。彼らの目標は、あるネットワーク上の通信プロトコルを介して協力しながら、グループの後悔を最小限にすることである。本稿では,複雑なネットワークの浸水による通信コストの低減を図るため,FwA(Flooding with absorption)と呼ばれる新しいプロトコルを提案する。
論文参考訳（メタデータ） (2023-03-09T17:44:58Z)
Minimum Entanglement Protocols for Function Estimation [0.0]
我々は、少なくとも$k$-partite tanglement を用いて最適なプロトコルが存在することの必要十分条件を証明した。我々のプロトコルは時間依存制御をある程度必要としており、関連する時間依存プロトコルのクラスは、ジェネリック関数の最適スケーリングを達成できないことを示す。
論文参考訳（メタデータ） (2021-10-14T18:00:00Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
Quasi-Equivalence Discovery for Zero-Shot Emergent Communication [63.175848843466845]
ゼロショットコーディネーション(ZSC)を実現するための新しい問題設定と準等価探索アルゴリズムを提案する。これらの2つの要因が参照ゲームにおいて一意に最適なZSCポリシーをもたらすことを示す。 QEDはこの設定における対称性を反復的に発見することができ、最適なZSCポリシーに収束する。
論文参考訳（メタデータ） (2021-03-14T23:42:37Z)
Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文参考訳（メタデータ） (2020-10-29T19:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。