論文の概要: An Information-Theoretic Framework for Unifying Active Learning Problems

• arxiv url: http://arxiv.org/abs/2012.10695v1
• Date: Sat, 19 Dec 2020 14:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 11:15:27.536346
• Title: An Information-Theoretic Framework for Unifying Active Learning Problems
• Title（参考訳）: アクティブラーニング問題の統一のための情報理論フレームワーク
• Authors: Quoc Phong Nguyen, Bryan Kian Hsiang Low, Patrick Jaillet
• Abstract要約: 本稿では,アクティブラーニング問題を統合するための情報理論的枠組みを提案する。 まず、既存のLSEアルゴリズムを推定する新しいアクティブ学習基準を紹介します。 LSEとBOの関係を利用して、BOのための競合情報理論獲得関数を設計する。
• 参考スコア（独自算出の注目度）: 44.758281991246825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an information-theoretic framework for unifying active learning problems: level set estimation (LSE), Bayesian optimization (BO), and their generalized variant. We first introduce a novel active learning criterion that subsumes an existing LSE algorithm and achieves state-of-the-art performance in LSE problems with a continuous input domain. Then, by exploiting the relationship between LSE and BO, we design a competitive information-theoretic acquisition function for BO that has interesting connections to upper confidence bound and max-value entropy search (MES). The latter connection reveals a drawback of MES which has important implications on not only MES but also on other MES-based acquisition functions. Finally, our unifying information-theoretic framework can be applied to solve a generalized problem of LSE and BO involving multiple level sets in a data-efficient manner. We empirically evaluate the performance of our proposed algorithms using synthetic benchmark functions, a real-world dataset, and in hyperparameter tuning of machine learning models.
• Abstract（参考訳）: 本稿では、レベルセット推定(LSE)、ベイズ最適化(BO)、およびそれらの一般化変種を統合化するための情報理論フレームワークを提案する。 まず,既存のLSEアルゴリズムを仮定し,連続入力領域を用いたLSE問題における最先端性能を実現する,新しい能動学習基準を提案する。 そして,LSEとBOの関係を利用して,高い信頼度と最大値エントロピー探索(MES)に興味深いつながりを持つBOの競合情報理論獲得関数を設計する。 後者の接続は、MESだけでなく、他のMESベースの取得関数にも重要な意味を持つMESの欠点を明らかにしている。 最後に、我々の統合情報理論フレームワークを用いて、複数のレベルセットをデータ効率よく含むLSEとBOの一般化問題を解くことができる。 提案アルゴリズムの性能を,実世界のデータセット,機械学習モデルのハイパーパラメータチューニングなどを用いて実証的に評価した。

関連論文リスト

• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation [9.764638397706717]
  サブレベル設定メンバーシップのルックアヘッド後部に対する解析式を導出する。 これらがLSE獲得関数のクラスに対する解析的表現にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2022-03-18T05:25:35Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
  バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。 一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
  論文  参考訳（メタデータ） (2020-09-23T22:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。