論文の概要: Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property

• arxiv url: http://arxiv.org/abs/2408.17276v1
• Date: Fri, 30 Aug 2024 13:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:18:38.036959
• Title: Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property
• Title（参考訳）: Oracleプロパティによる最小限の分散ベストセット選択と通信効率のよい分散ベストセット選択
• Authors: Jingguo Lan, Hongmei Lin, Xueqin Wang,
• Abstract要約: 大規模データの爆発はシングルマシンシステムの処理能力を上回っている。 分散推論への伝統的なアプローチは、高次元データセットにおいて真の疎性を達成するのにしばしば苦労する。 そこで本稿では,これらの問題に対処する2段階分散ベストサブセット選択アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.358439716487063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explosion of large-scale data in fields such as finance, e-commerce, and social media has outstripped the processing capabilities of single-machine systems, driving the need for distributed statistical inference methods. Traditional approaches to distributed inference often struggle with achieving true sparsity in high-dimensional datasets and involve high computational costs. We propose a novel, two-stage, distributed best subset selection algorithm to address these issues. Our approach starts by efficiently estimating the active set while adhering to the $\ell_0$ norm-constrained surrogate likelihood function, effectively reducing dimensionality and isolating key variables. A refined estimation within the active set follows, ensuring sparse estimates and matching the minimax $\ell_2$ error bound. We introduce a new splicing technique for adaptive parameter selection to tackle subproblems under $\ell_0$ constraints and a Generalized Information Criterion (GIC). Our theoretical and numerical studies show that the proposed algorithm correctly finds the true sparsity pattern, has the oracle property, and greatly lowers communication costs. This is a big step forward in distributed sparse estimation.
• Abstract（参考訳）: 金融、電子商取引、ソーシャルメディアなどの分野における大規模データの爆発は、単一機械システムの処理能力を上回っており、分散統計推論手法の必要性が高まっている。 分散推論への伝統的なアプローチは、しばしば高次元データセットにおいて真の疎性を達成することに苦慮し、高い計算コストを伴います。 そこで本稿では,これらの問題に対処する2段階分散ベストサブセット選択アルゴリズムを提案する。 我々のアプローチは、$\ell_0$ノルム制約されたサロゲート確率関数に固執しながら活性集合を効率的に推定し、次元性を効果的に減らし、キー変数を分離することから始まる。 活性集合内の洗練された推定は、スパース推定を確実にし、minimax $\ell_2$エラー境界に一致する。 適応パラメータ選択のための新しいスプライシング手法を導入し、$\ell_0$制約と一般化情報基準(GIC)に基づくサブプロブレムに取り組む。 理論的および数値的研究により,提案アルゴリズムは真の疎度パターンを正しく発見し,オラクル特性を有し,通信コストを大幅に低減することを示した。 これは分散スパース推定における大きな前進です。

関連論文リスト

• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• Estimating Barycenters of Distributions with Neural Optimal Transport [93.28746685008093]
  本稿では,Wasserstein Barycenter問題を解くための新しいスケーラブルなアプローチを提案する。 我々の手法は最近のNeural OTソルバをベースとしている。 また,提案手法の理論的誤差境界も確立する。
  論文  参考訳（メタデータ） (2024-02-06T09:17:07Z)
• EERO: Early Exit with Reject Option for Efficient Classification with limited budget [0.0]
  本稿では,早期退避の問題をリジェクションオプション付き複数分類器を使用する問題に翻訳する新しい手法であるEEROを提案する。 我々は、固定予算を保証するために指数重の集約を用いて、異なる頭部で出口の確率を調整する。 Cifar と ImageNet のデータセット上で ResNet-18 モデルと ConvNext アーキテクチャを用いて実験を行った結果,提案手法は予算配分を効果的に管理するだけでなく,過度なシナリオの正確性も向上することが示された。
  論文  参考訳（メタデータ） (2024-02-06T07:50:27Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Cooperative Thresholded Lasso for Sparse Linear Bandit [6.52540785559241]
  本稿では,マルチエージェント・スパース文脈線形帯域問題に対処する新しい手法を提案する。 疎線形帯域における行単位の分散データに対処する最初のアルゴリズムである。 後悔を最小限に抑えるために効率的な特徴抽出が重要となる高次元マルチエージェント問題に適用可能である。
  論文  参考訳（メタデータ） (2023-05-30T16:05:44Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Online Allocation with Two-sided Resource Constraints [44.5635910908944]
  我々は,要求が順次到着する,リソース制約の低いオンラインアロケーション問題を考える。 提案手法では, リクエスト全体を知るオフライン問題に対して, 1-O (fracepsilonalpha-epsilon)$-competitive ratioを求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-28T02:21:06Z)
• Online Stochastic Optimization with Wasserstein Based Non-stationarity [12.91020811577007]
  有限期間の地平線上の複数の予算制約を持つ一般的なオンライン最適化問題を検討する。 意思決定者の目標は、予算制約の対象となる累積報酬を最大化することである。 この定式化は、オンラインリニアプログラミングやネットワーク収益管理を含む幅広いアプリケーションを取り込む。
  論文  参考訳（メタデータ） (2020-12-13T04:47:37Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。