論文の概要: BatchGFN: Generative Flow Networks for Batch Active Learning

• arxiv url: http://arxiv.org/abs/2306.15058v1
• Date: Mon, 26 Jun 2023 20:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 15:28:25.124336
• Title: BatchGFN: Generative Flow Networks for Batch Active Learning
• Title（参考訳）: BatchGFN: バッチアクティブ学習のための生成フローネットワーク
• Authors: Shreshth A. Malik, Salem Lahlou, Andrew Jesson, Moksh Jain, Nikolay Malkin, Tristan Deleu, Yoshua Bengio, Yarin Gal
• Abstract要約: BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
• 参考スコア（独自算出の注目度）: 80.73649229919454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce BatchGFN -- a novel approach for pool-based active learning that uses generative flow networks to sample sets of data points proportional to a batch reward. With an appropriate reward function to quantify the utility of acquiring a batch, such as the joint mutual information between the batch and the model parameters, BatchGFN is able to construct highly informative batches for active learning in a principled way. We show our approach enables sampling near-optimal utility batches at inference time with a single forward pass per point in the batch in toy regression problems. This alleviates the computational complexity of batch-aware algorithms and removes the need for greedy approximations to find maximizers for the batch reward. We also present early results for amortizing training across acquisition steps, which will enable scaling to real-world tasks.
• Abstract（参考訳）: batchgfn - 生成フローネットワークを使用してバッチ報酬に比例するデータポイントのセットをサンプリングする、プールベースのアクティブラーニングの新しいアプローチを紹介します。 BatchGFNは、バッチとモデルパラメータの協調的な相互情報などのバッチ取得の有用性を定量化する適切な報奨関数により、アクティブラーニングのための高度に情報的なバッチを原則的に構築することができる。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で,ほぼ最適のユーティリティバッチを推定時にサンプリングすることができることを示す。 これにより、バッチ対応アルゴリズムの計算複雑性が軽減され、バッチ報酬の最大値を見つけるための欲求近似が不要になる。 また,実世界のタスクへのスケーリングを可能にするために,取得ステップ間のトレーニングをモーティフィズする早期結果も提示する。

関連論文リスト

• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Adaptive Batch Sizes for Active Learning A Probabilistic Numerics Approach [28.815294991377645]
  アクティブな学習並列化は広く使われているが、一般的には実験全体を通してバッチサイズの修正に依存している。 この固定されたアプローチは、コストとスピードの間の動的なトレードオフのため、非効率である。 本稿では,バッチサイズを適応的に変更する新しい確率論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-09T12:17:18Z)
• Distributional GFlowNets with Quantile Flows [73.73721901056662]
  Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。 本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。 GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
  論文  参考訳（メタデータ） (2023-02-11T22:06:17Z)
• Scalable Batch Acquisition for Deep Bayesian Active Learning [70.68403899432198]
  ディープラーニングでは、各ステップでマークアップする複数の例を選択することが重要です。 BatchBALDのような既存のソリューションでは、多くの例を選択する際に大きな制限がある。 本稿では,より計算効率のよいLarge BatchBALDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-13T11:45:17Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Achieving Minimax Rates in Pool-Based Batch Active Learning [26.12124106759262]
  本稿では,学習者がラベル付けオラクルへのポイントのバッチを適応的に発行する,バッチアクティブな学習シナリオについて考察する。 本稿では,問合せ点の情報性と,その多様性との間に注意深いトレードオフを必要とする解を提案する。
  論文  参考訳（メタデータ） (2022-02-11T04:55:45Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Batch Active Learning at Scale [39.26441165274027]
  バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。 本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。 本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-29T18:14:05Z)
• Stochastic Batch Acquisition: A Simple Baseline for Deep Active Learning [48.19646855997791]
  本稿では,よく知られた単一点獲得関数を適用して,バッチアクティブ学習を実現するための簡単な戦略について検討する。 この戦略は、BatchBALDやBADGEのような、計算集約的なバッチ取得機能と同様に、桁違いの計算量を使用することができる。 機械学習実践者に実践的な選択肢を提供することに加えて、幅広い実験環境で提案手法が驚くほど成功したことは、この分野にとって難しい問題となっている。
  論文  参考訳（メタデータ） (2021-06-22T21:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。