論文の概要: Improved Algorithms for Neural Active Learning
- arxiv url: http://arxiv.org/abs/2210.00423v1
- Date: Sun, 2 Oct 2022 05:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 13:55:47.129436
- Title: Improved Algorithms for Neural Active Learning
- Title（参考訳）: ニューラルアクティブ学習のための改良アルゴリズム
- Authors: Yikun Ban, Yuheng Zhang, Hanghang Tong, Arindam Banerjee, Jingrui He
- Abstract要約: 非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
- 参考スコア（独自算出の注目度）: 74.89097665112621
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We improve the theoretical and empirical performance of
neural-network(NN)-based active learning algorithms for the non-parametric
streaming setting. In particular, we introduce two regret metrics by minimizing
the population loss that are more suitable in active learning than the one used
in state-of-the-art (SOTA) related work. Then, the proposed algorithm leverages
the powerful representation of NNs for both exploitation and exploration, has
the query decision-maker tailored for $k$-class classification problems with
the performance guarantee, utilizes the full feedback, and updates parameters
in a more practical and efficient manner. These careful designs lead to a
better regret upper bound, improving by a multiplicative factor $O(\log T)$ and
removing the curse of both input dimensionality and the complexity of the
function to be learned. Furthermore, we show that the algorithm can achieve the
same performance as the Bayes-optimal classifier in the long run under the
hard-margin setting in classification problems. In the end, we use extensive
experiments to evaluate the proposed algorithm and SOTA baselines, to show the
improved empirical performance.
- Abstract（参考訳）: 非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
特に,現状関連研究(sota)で用いられるものよりも,アクティブ学習に適した人口減少を最小限に抑えることで,後悔の指標を2つ紹介する。
次に,提案アルゴリズムは,NNの強力な表現を活用および探索の両方に活用し,性能保証付き$k$クラス分類問題に適したクエリ決定器を備え,完全なフィードバックを利用し,パラメータをより実用的で効率的な方法で更新する。
これらの注意深い設計は、より深い後悔を生じさせ、乗算係数$o(\log t)$によって改善され、入力次元と学習すべき関数の複雑さの両方の呪いを取り除く。
さらに, このアルゴリズムは, 分類問題におけるハードマージン設定の下で, 長期のベイズ最適分類器と同じ性能が得られることを示す。
最後に,提案アルゴリズムとSOTAベースラインの評価実験を行い,改良された経験的性能を示す。
関連論文リスト
- Training Neural Networks using SAT solvers [1.0152838128195465]
本稿では,SATソルバを用いてニューラルネットワークのトレーニングを行うグローバル最適化手法を提案する。
実験では,パリティ学習などのタスクにおいて,ADAMオプティマイザに対するアルゴリズムの有効性を示す。
論文 参考訳（メタデータ） (2022-06-10T01:31:12Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - An Improved Reinforcement Learning Algorithm for Learning to Branch [12.27934038849211]
ブランチ・アンド・バウンド(B&B)は最適化の一般的な方法である。
本稿では,新しい強化学習に基づくB&Bアルゴリズムを提案する。
提案アルゴリズムの性能を3つの公開研究ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-01-17T04:50:11Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-01-12T18:31:22Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。
ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
論文 参考訳（メタデータ） (2020-07-07T17:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。