論文の概要: Pareto Active Learning with Gaussian Processes and Adaptive Discretization

• arxiv url: http://arxiv.org/abs/2006.14061v2
• Date: Mon, 1 Nov 2021 11:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 10:07:31.031322
• Title: Pareto Active Learning with Gaussian Processes and Adaptive Discretization
• Title（参考訳）: ガウス過程と適応的離散化を用いたパレートアクティブラーニング
• Authors: Andi Nika, Kerem Bozgan, Sepehr Elahi, \c{C}a\u{g}{\i}n Ararat, Cem Tekin
• Abstract要約: GPサンプリング関数の滑らかさと$(cal X,d)$の構造を利用して高速に学習するアルゴリズムを提案する。 本質的に、Adaptive $boldsymbolepsilon$-PALは木に基づく適応離散化技術を用いて、$boldsymbolepsilon$-accurate Paretoの設計セットを特定する。
• 参考スコア（独自算出の注目度）: 12.179548969182573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of optimizing a vector-valued objective function $\boldsymbol{f}$ sampled from a Gaussian Process (GP) whose index set is a well-behaved, compact metric space $({\cal X},d)$ of designs. We assume that $\boldsymbol{f}$ is not known beforehand and that evaluating $\boldsymbol{f}$ at design $x$ results in a noisy observation of $\boldsymbol{f}(x)$. Since identifying the Pareto optimal designs via exhaustive search is infeasible when the cardinality of ${\cal X}$ is large, we propose an algorithm, called Adaptive $\boldsymbol{\epsilon}$-PAL, that exploits the smoothness of the GP-sampled function and the structure of $({\cal X},d)$ to learn fast. In essence, Adaptive $\boldsymbol{\epsilon}$-PAL employs a tree-based adaptive discretization technique to identify an $\boldsymbol{\epsilon}$-accurate Pareto set of designs in as few evaluations as possible. We provide both information-type and metric dimension-type bounds on the sample complexity of $\boldsymbol{\epsilon}$-accurate Pareto set identification. We also experimentally show that our algorithm outperforms other Pareto set identification methods on several benchmark datasets.
• Abstract（参考訳）: ベクトル値対象関数 $\boldsymbol{f}$ をガウス過程 (gp) からサンプリングし, 指数集合が整ったコンパクトな計量空間 $({\cal x},d)$ であるようなベクトル値対象関数 $\boldsymbol{f}$ を最適化する問題を考える。 我々は、$\boldsymbol{f}$が事前に分かっていないと仮定し、$\boldsymbol{f}$ at design $x$は、$\boldsymbol{f}(x)$のうるさい観測結果をもたらすと仮定する。 完全探索によるパレート最適設計の同定は,${\cal x}$ の濃度が大きい場合には実現不可能であるため,gpサンプリング関数の滑らかさと $({\cal x},d)$ の構造を利用して高速に学習するアルゴリズムであるadaptive $\boldsymbol{\epsilon}$-palを提案する。 本質的に、Adaptive $\boldsymbol{\epsilon}$-PALは木に基づく適応的な離散化技術を用いて、可能な限り少数の評価で$\boldsymbol{\epsilon}$-accurate Paretoの集合を識別する。 我々は、$\boldsymbol{\epsilon}$-accurate Pareto 集合識別のサンプル複雑性に基づく情報型および計量次元型境界を提供する。 また,本アルゴリズムが複数のベンチマークデータセットにおけるpareto集合同定手法よりも優れていることを実験的に示す。

関連論文リスト

• Sample and Computationally Efficient Robust Learning of Gaussian Single-Index Models [37.42736399673992]
  シングルインデックスモデル (SIM) は $sigma(mathbfwast cdot mathbfx)$ という形式の関数であり、$sigma: mathbbR to mathbbR$ は既知のリンク関数であり、$mathbfwast$ は隠れ単位ベクトルである。 適切な学習者が$L2$-error of $O(mathrmOPT)+epsilon$。
  論文  参考訳（メタデータ） (2024-11-08T17:10:38Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Compressive Recovery of Sparse Precision Matrices [5.557600489035657]
  我々は,$d$変数の統計的関係を,mathbbRn times d$の$n$サンプル$Xのデータセットからモデル化するグラフの学習問題を考察する。 サイズ $m=Omegaleft((d+2k)log(d)right)$ ここで、$k$は基礎となるグラフのエッジの最大数である。 本稿では, グラフィカルラッソに基づく反復アルゴリズムを用いて, 具体的デノイザとみなす実用的リカバリを実現する可能性について検討する。
  論文  参考訳（メタデータ） (2023-11-08T13:29:08Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Max-Margin Token Selection in Attention Mechanism [34.11955962489916]
  我々は、$boldsymbolp$ あるいは $boldW$ の勾配勾配降下が最大マルジン解に収束することを証明する。 注目すべきは、我々の結果は一般的なデータに適用でき、正確には最適なトークン選択である。
  論文  参考訳（メタデータ） (2023-06-23T16:35:46Z)
• Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling [64.31011847952006]
  我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。 我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。 我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
  論文  参考訳（メタデータ） (2022-06-05T21:32:33Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Fast Graph Sampling for Short Video Summarization using Gershgorin Disc Alignment [52.577757919003844]
  高速グラフサンプリングの最近の進歩を利用して,短い動画を複数の段落に効率よく要約する問題について検討する。 実験結果から,本アルゴリズムは最先端の手法と同等の映像要約を実現し,複雑さを大幅に低減した。
  論文  参考訳（メタデータ） (2021-10-21T18:43:00Z)
• A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
  正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。 勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:01:38Z)
• Streaming Complexity of SVMs [110.63976030971106]
  本稿では,ストリーミングモデルにおけるバイアス正規化SVM問題を解く際の空間複雑性について検討する。 両方の問題に対して、$frac1lambdaepsilon$の次元に対して、$frac1lambdaepsilon$よりも空間的に小さいストリーミングアルゴリズムを得ることができることを示す。
  論文  参考訳（メタデータ） (2020-07-07T17:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。