論文の概要: "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection
- arxiv url: http://arxiv.org/abs/2402.02196v3
- Date: Tue, 17 Dec 2024 14:02:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:54:23.286942
- Title: "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection
- Title（参考訳）: クラスタリングとコンカヤ」による大規模ランキングと選抜の並列化
- Authors: Zishi Zhang, Yijie Peng,
- Abstract要約: 並列コンピューティングにおいてよく使われる「分割と征服」フレームワークを,相関に基づくクラスタリングのステップを追加して修正する。
この一見単純な修正は、$mathcalO(p)$サンプルの複雑さの減少率を達成することができる。
ニューラルネットワーク探索のような大規模AIアプリケーションでは,本手法は優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This work breaks the sample efficiency bottleneck in parallel large-scale ranking and selection (R&S) problem by leveraging correlation information. We modify the commonly used "divide and conquer" framework in parallel computing by adding a correlation-based clustering step, transforming it into "clustering and conquer". This seemingly simple modification can achieve an $\mathcal{O}(p)$ sample complexity reduction rate, which represents the maximum attainable reduction for the class of sample-optimal R&S methods. Our approach enjoys two key advantages: 1) it does not require highly accurate correlation estimation or precise clustering, and 2) it allows for seamless integration with various existing R&S method, while achieving optimal sample complexity. Theoretically, we develop a novel gradient analysis framework to analyze sample efficiency and guide the design of large-scale R&S procedures. Building upon this framework, we propose a gradient-based budget allocation policy. We also introduce a new clustering algorithm, selection policy, and precision criterion tailored for large-scale scenarios. Finally, in large-scale AI applications such as neural architecture search, our methods demonstrate superior performance.
- Abstract（参考訳）: この研究は、相関情報を活用することで、並列大規模ランキングと選択(R&S)問題におけるサンプル効率のボトルネックを破る。
我々は、相関に基づくクラスタリングのステップを追加して、並列コンピューティングでよく使われる「分割と征服」のフレームワークを変更し、それを「クラスタリングと征服」に変換する。
この一見単純な修正は$\mathcal{O}(p)$サンプル複雑性低減率を達成でき、これはサンプル最適化R&S法のクラスで達成可能な最大還元率を示す。
私たちのアプローチには2つの大きな利点があります。
1)高精度な相関推定や正確なクラスタリングは必要とせず、
2) 様々な既存R&S手法とシームレスに統合でき, 最適なサンプル複雑性を実現することができる。
理論的には、サンプル効率を解析し、大規模R&S手順の設計を導くための新しい勾配解析フレームワークを開発する。
この枠組みに基づいて、勾配に基づく予算配分政策を提案する。
また、大規模シナリオに適した新しいクラスタリングアルゴリズム、選択ポリシー、精度基準も導入する。
最後に,ニューラルネットワーク探索などの大規模AIアプリケーションにおいて,本手法は優れた性能を示す。
関連論文リスト
- Query-Efficient Correlation Clustering with Noisy Oracle [17.11782578276788]
共同マルチアーマッドバンド(PE-CMAB)における純粋探索のパラダイムに根ざしたオンライン学習問題の2つの新しい定式化を導入する。
我々は,サンプリング戦略と古典近似アルゴリズムを組み合わせるアルゴリズムを設計し,それらの理論的保証について検討する。
本研究は, PE-CMABの場合のクラスタリング時アルゴリズムの最初の例であり, 基礎となるオフライン最適化問題はNP-hardである。
論文 参考訳（メタデータ） (2024-02-02T13:31:24Z) - Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。
汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。
我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
論文 参考訳（メタデータ） (2023-10-10T01:39:04Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Late Fusion Multi-view Clustering via Global and Local Alignment
Maximization [61.89218392703043]
マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。
既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。
これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
論文 参考訳（メタデータ） (2022-08-02T01:49:31Z) - Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ
LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。
本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
論文 参考訳（メタデータ） (2022-05-24T20:51:37Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - Shift of Pairwise Similarities for Data Clustering [7.462336024223667]
正規化項がクラスタの2乗サイズの和である場合を考察し、ペアの類似性の適応正規化に一般化する。
これは、ペアの類似性を(適切に)シフトさせ、それらのうちのいくつかを負にする可能性がある。
そこで我々は,新しいクラスタリング問題を解くために,高速な理論的収束率を持つ効率的な局所探索最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-25T16:55:07Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。
提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。
驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2021-06-16T16:14:01Z) - Linear regression with partially mismatched data: local search with
theoretical guarantees [9.398989897176953]
本稿では,予測と応答のペアが部分的に一致しない線形回帰の重要な変種について検討する。
最適化定式化を用いて、基礎となる回帰係数とミスマッチに対応する置換を同時に学習する。
我々は,局所探索アルゴリズムが線形速度でほぼ最適解に収束することを証明した。
論文 参考訳（メタデータ） (2021-06-03T23:32:12Z) - Ensemble Slice Sampling: Parallel, black-box and gradient-free inference
for correlated & multimodal distributions [0.0]
スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。
本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。
これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
論文 参考訳（メタデータ） (2020-02-14T19:00:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。