論文の概要: Automating Nearest Neighbor Search Configuration with Constrained Optimization

• arxiv url: http://arxiv.org/abs/2301.01702v1
• Date: Wed, 4 Jan 2023 16:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-05 15:49:44.561465
• Title: Automating Nearest Neighbor Search Configuration with Constrained Optimization
• Title（参考訳）: 制約付き最適化による近接探索構成の自動化
• Authors: Philip Sun, Ruiqi Guo, Sanjiv Kumar
• Abstract要約: 本研究では、量子化に基づくANNアルゴリズムをチューニングするための制約付き最適化に基づくアプローチを提案する。 提案手法は,所望の検索コストやリコールを入力として処理し,実験的にParetoフロンティアに非常に近いチューニングを生成する。
• 参考スコア（独自算出の注目度）: 34.633003673080786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The approximate nearest neighbor (ANN) search problem is fundamental to efficiently serving many real-world machine learning applications. A number of techniques have been developed for ANN search that are efficient, accurate, and scalable. However, such techniques typically have a number of parameters that affect the speed-recall tradeoff, and exhibit poor performance when such parameters aren't properly set. Tuning these parameters has traditionally been a manual process, demanding in-depth knowledge of the underlying search algorithm. This is becoming an increasingly unrealistic demand as ANN search grows in popularity. To tackle this obstacle to ANN adoption, this work proposes a constrained optimization-based approach to tuning quantization-based ANN algorithms. Our technique takes just a desired search cost or recall as input, and then generates tunings that, empirically, are very close to the speed-recall Pareto frontier and give leading performance on standard benchmarks.
• Abstract（参考訳）: 近接した近接探索問題 (ANN) は、多くの実世界の機械学習アプリケーションに効率的に機能するために基礎となる。 効率的で正確でスケーラブルなANN検索のために、数多くの技術が開発されている。 しかし、そのような手法は通常、スピードリコールのトレードオフに影響を与える多くのパラメータを持ち、そのようなパラメータが適切に設定されていない場合、性能が低下する。 これらのパラメータのチューニングは伝統的に手動のプロセスであり、基礎となる検索アルゴリズムの深い知識を要求する。 ANN検索の人気が高まるにつれ、これはますます非現実的な需要になりつつある。 そこで本研究では,量子化に基づくANNアルゴリズムをチューニングするための最適化手法を提案する。 我々の技術は、所望の検索コストか、入力としてリコールし、経験上、スピードリコールのパレートフロンティアに非常に近いチューニングを生成し、標準ベンチマークでリードパフォーマンスを与えます。

関連論文リスト

• HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
  一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
  論文  参考訳（メタデータ） (2023-08-07T06:01:50Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• RepNAS: Searching for Efficient Re-parameterizing Blocks [4.146471448631912]
  1段階NAS手法であるRepNASは、分岐数制約の下で各層に対して最適な多様な分岐ブロック(ODBB)を効率的に探索する。 実験の結果,探索されたODBBは,手動分岐ブロック(DBB)を効率よく越えることが可能であった。
  論文  参考訳（メタデータ） (2021-09-08T09:04:59Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。