論文の概要: Generalized Coverage for More Robust Low-Budget Active Learning

• arxiv url: http://arxiv.org/abs/2407.12212v2
• Date: Wed, 24 Jul 2024 18:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 18:27:52.967234
• Title: Generalized Coverage for More Robust Low-Budget Active Learning
• Title（参考訳）: よりロバストな低予算能動学習のための一般化被覆
• Authors: Wonho Bae, Junhyug Noh, Danica J. Sutherland,
• Abstract要約: ProbCoverは、選択したデータポイントで与えられた半径のボールでデータ分布を"カバー"しようとする。 本稿では,ProbCoverのアルゴリズムを一般化して,このカバレッジを最適化する効率的なグリージー手法を提案する。 総合的な実験では、MaxHerdingは複数の低予算画像分類ベンチマークで既存のアクティブな学習方法を上回っている。
• 参考スコア（独自算出の注目度）: 17.547993023092562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ProbCover method of Yehuda et al. is a well-motivated algorithm for active learning in low-budget regimes, which attempts to "cover" the data distribution with balls of a given radius at selected data points. We demonstrate, however, that the performance of this algorithm is extremely sensitive to the choice of this radius hyper-parameter, and that tuning it is quite difficult, with the original heuristic frequently failing. We thus introduce (and theoretically motivate) a generalized notion of "coverage," including ProbCover's objective as a special case, but also allowing smoother notions that are far more robust to hyper-parameter choice. We propose an efficient greedy method to optimize this coverage, generalizing ProbCover's algorithm; due to its close connection to kernel herding, we call it "MaxHerding." The objective can also be optimized non-greedily through a variant of $k$-medoids, clarifying the relationship to other low-budget active learning methods. In comprehensive experiments, MaxHerding surpasses existing active learning methods across multiple low-budget image classification benchmarks, and does so with less computational cost than most competitive methods.
• Abstract（参考訳）: Yehuda et al の ProbCover 法は低予算体制下での活発な学習のためのよく動機付けられたアルゴリズムであり、与えられた半径の球でデータ分布を探索しようとするものである。 しかし,本アルゴリズムの性能は,この半径ハイパーパラメータの選択に極めて敏感であり,チューニングは非常に困難であり,本来のヒューリスティックは頻繁に失敗することを示した。 したがって、特殊ケースとしてのProbCoverの目的を含む一般化された「被覆」の概念を導入する(そして理論的に動機づける)が、超パラメータ選択に対してはるかに堅牢な滑らかな概念を可能にする。 本稿では、このカバレッジを最適化し、ProbCoverのアルゴリズムを一般化する効率的なグリージー手法を提案する。 この目的は、$k$-medoidsの変種によって非グレードに最適化され、他の低予算のアクティブな学習方法との関係を明確にすることができる。 総合的な実験では、MaxHerdingは複数の低予算画像分類ベンチマークにまたがる既存のアクティブな学習手法を超越し、ほとんどの競争的手法よりも計算コストが低い。

関連論文リスト

• Optimal Multi-Fidelity Best-Arm Identification [65.23078799972188]
  バンディットのベストアーム識別において、アルゴリズムは、できるだけ早く特定の精度で、最高平均報酬の腕を見つけることを任務とする。 マルチフィデリティのベストアーム識別について検討し、低コストで低いフィデリティ(正確な平均推定値を持たない)で腕をサンプリングすることを選択できる。 この問題に対処するためのいくつかの方法が提案されているが、その最適性は、特に最適な腕を特定するのに必要な総コストのゆるやかな下限のため、未解決のままである。
  論文  参考訳（メタデータ） (2024-06-05T08:02:40Z)
• Adversarially robust clustering with optimality guarantees [7.0830450321883935]
  我々はガウス以下の混合系から得られるデータポイントをクラスタリングする問題を考察する。 ロイドアルゴリズムのような最適ラベル誤りを確実に達成する既存の手法は、通常、外れ値に対して脆弱である。 本稿では, 対数外乱が存在する場合でも, 座標中央値に基づく単純なロバストアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-16T17:17:07Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• An Efficient Algorithm for Deep Stochastic Contextual Bandits [10.298368632706817]
  コンテキスト境界の問題では、エージェントは特定の観察されたコンテキストに基づいてアクションを選択し、反復よりも報酬を最大化します。 近年、ディープニューラルネットワーク(DNN)を用いて行動に対する期待される報酬を予測する研究がいくつか行われ、勾配に基づく手法で訓練されている。
  論文  参考訳（メタデータ） (2021-04-12T16:34:43Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。