論文の概要: On the Necessity of Collaboration for Online Model Selection with Decentralized Data

• arxiv url: http://arxiv.org/abs/2404.09494v4
• Date: Sun, 06 Oct 2024 06:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:11:15.800931
• Title: On the Necessity of Collaboration for Online Model Selection with Decentralized Data
• Title（参考訳）: 分散データを用いたオンラインモデル選択のためのコラボレーションの必要性について
• Authors: Junfan Li, Zheshun Wu, Zenglin Xu, Irwin King,
• Abstract要約: 我々は,100万ドル以上の分散データを用いたオンラインモデル選択について検討し,クライアント間のコラボレーションの必要性について検討する。 i) クライアント上の計算コストが$o(K)$に制限された場合, (ii) クライアント上での計算制約がない場合, (i) 協調は不要であり, (ii) クライアント上での計算コストは$o(K)$に制限される。
• 参考スコア（独自算出の注目度）: 53.244188985271606
• License:
• Abstract: We consider online model selection with decentralized data over $M$ clients, and study the necessity of collaboration among clients. Previous work proposed various federated algorithms without demonstrating their necessity,while we answer the question from a novel perspective of computational constraints. We prove lower bounds on the regret, and propose a federated algorithm and analyze the upper bound.Our results show (i) collaboration is unnecessary in the absence of computational constraints on clients; (ii) collaboration is necessary if the computational cost on each client is limited to $o(K)$, where $K$ is the number of candidate hypothesis spaces. We clarify the unnecessary nature of collaboration in previous federated algorithms for distributed online multi-kernel learning,and improve the regret bounds at a smaller computational and communication cost. Our algorithm relies on three new techniques including an improved Bernstein's inequality for martingale, a federated online mirror descent framework, and decoupling model selection and prediction, which might be of independent interest.
• Abstract（参考訳）: 我々は,100万ドル以上の分散データを用いたオンラインモデル選択について検討し,クライアント間のコラボレーションの必要性について検討する。 従来の研究は,計算制約の新たな視点から質問に答える一方で,その必要性を示さずに,様々なフェデレーションアルゴリズムを提案した。 我々は、後悔の少ない境界を証明し、フェデレートされたアルゴリズムを提案し、上位境界を解析する。 一 クライアントの計算上の制約がない場合には、協力は不要である。 (ii)各クライアントの計算コストが$o(K)$に制限されている場合、$K$は仮説空間の候補数である。 分散オンラインマルチカーネル学習における従来のフェデレーションアルゴリズムにおける協調の不要な性質を明らかにするとともに,計算・通信コストの低減を図る。 我々のアルゴリズムは、マーチンゲールに対するバーンスタインの不平等の改善、フェデレートされたオンラインミラー降下フレームワーク、モデル選択と予測の分離を含む3つの新しい手法に依存している。

関連論文リスト

• Contractual Reinforcement Learning: Pulling Arms with Invisible Hands [68.77645200579181]
  本稿では,契約設計によるオンライン学習問題において,利害関係者の経済的利益を整合させる理論的枠組みを提案する。 計画問題に対して、遠目エージェントに対する最適契約を決定するための効率的な動的プログラミングアルゴリズムを設計する。 学習問題に対して,契約の堅牢な設計から探索と搾取のバランスに至るまでの課題を解き放つために,非回帰学習アルゴリズムの汎用設計を導入する。
  論文  参考訳（メタデータ） (2024-07-01T16:53:00Z)
• Decision-focused Graph Neural Networks for Combinatorial Optimization [62.34623670845006]
  最適化問題に取り組むための新たな戦略は、従来のアルゴリズムに代わるグラフニューラルネットワーク(GNN)の採用である。 GNNや従来のアルゴリズムソルバがCOの領域で人気が高まっているにもかかわらず、それらの統合利用とエンドツーエンドフレームワークにおけるそれらの相関について限定的な研究がなされている。 我々は、GNNを利用してCO問題に補助的なサポートで対処する決定に焦点を当てたフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-05T22:52:27Z)
• Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost [4.895986534376972]
  本稿では,FedQ-Advantageと呼ばれる新しいモデルフリーなフェデレーションQ-ラーニングアルゴリズムを提案する。 我々のアルゴリズムは対数通信コストを低くするだけでなく、時間的地平線が十分に大きい場合と比較して、対数係数に縛られた情報とほぼ直線的後悔のスピードアップに到達して、ほぼ最適の後悔を達成する。
  論文  参考訳（メタデータ） (2024-05-29T06:26:52Z)
• Communication-Efficient Federated Non-Linear Bandit Optimization [26.23638987873429]
  汎用非線形目的関数を用いた連邦帯域最適化のための新しいアルゴリズムであるFed-GO-UCBを提案する。 いくつかの軽度の条件下では、Fed-GO-UCBが累積的後悔と通信コストの両方でサブ線形レートを達成できることを厳格に証明する。
  論文  参考訳（メタデータ） (2023-11-03T03:50:31Z)
• Serverless Federated AUPRC Optimization for Multi-Party Collaborative Imbalanced Data Mining [119.89373423433804]
  有効指標としてAUPRC(Area Under Precision-Recall)を導入した。 サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。 本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-06T06:51:32Z)
• Minimalistic Predictions to Schedule Jobs with Online Precedence Constraints [117.8317521974783]
  オンライン優先制約による非サーボ的スケジューリングについて検討する。 アルゴリズムは、任意のジョブ依存に偏りがなく、前任者がすべて完了した場合に限り、ジョブについて学習する。
  論文  参考訳（メタデータ） (2023-01-30T13:17:15Z)
• Optimal Clustering with Bandit Feedback [57.672609011609886]
  本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。 これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。 合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T06:05:05Z)
• Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
  本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。 提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。 また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
  論文  参考訳（メタデータ） (2021-04-13T08:23:46Z)
• Exact Support Recovery in Federated Regression with One-shot Communication [31.061339148448006]
  フェデレーション学習は、分散コンピューティング、データオーナシップ、プライバシといった課題に対処するためのフレームワークを提供する。 正確なサポートを計算するために,集中型サーバとのワンショット通信しか必要としない単純な通信アルゴリズムを提供する。 本手法では,クライアントが任意の最適化問題を解く必要はなく,計算能力の低いデバイスでも実行可能である。
  論文  参考訳（メタデータ） (2020-06-22T19:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。