論文の概要: A Lagrangian Duality Approach to Active Learning

• arxiv url: http://arxiv.org/abs/2202.04108v1
• Date: Tue, 8 Feb 2022 19:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 15:47:14.309957
• Title: A Lagrangian Duality Approach to Active Learning
• Title（参考訳）: ラグランジアン双対アプローチによるアクティブラーニング
• Authors: Juan Elenter, Navid NaderiAlizadeh, Alejandro Ribeiro
• Abstract要約: トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
• 参考スコア（独自算出の注目度）: 119.36233726867992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the batch active learning problem, where only a subset of the training data is labeled, and the goal is to query a batch of unlabeled samples to be labeled so as to maximally improve model performance. We formulate the learning problem using constrained optimization, where each constraint bounds the performance of the model on labeled samples. Considering a primal-dual approach, we optimize the primal variables, corresponding to the model parameters, as well as the dual variables, corresponding to the constraints. As each dual variable indicates how significantly the perturbation of the respective constraint affects the optimal value of the objective function, we use it as a proxy of the informativeness of the corresponding training sample. Our approach, which we refer to as Active Learning via Lagrangian dualitY, or ALLY, leverages this fact to select a diverse set of unlabeled samples with the highest estimated dual variables as our query set. We show, via numerical experiments, that our proposed approach performs similarly to or better than state-of-the-art active learning methods in a variety of classification and regression tasks. We also demonstrate how ALLY can be used in a generative mode to create novel, maximally-informative samples. The implementation code for ALLY can be found at https://github.com/juanelenter/ALLY.
• Abstract（参考訳）: 我々は,トレーニングデータのサブセットのみをラベル付けしたバッチアクティブラーニング問題を検討し,ラベル付けされていないサンプルのバッチをクエリし,モデル性能を最大に向上させる。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 原始双対的アプローチを考えると、モデルパラメータに対応する主変数と、制約に対応する双対変数を最適化する。 各双対変数は、各制約の摂動が目的関数の最適値にどの程度影響するかを示すので、対応するトレーニングサンプルのインフォメーションネスの代理として使用する。 ラグランジアン双対Y(ALLY)を介してアクティブラーニング(Active Learning)と呼ぶアプローチでは、この事実を利用して、クエリーセットとして最も推定された2値変数を持つラベルなしサンプルの多様なセットを選択する。 数値実験により,提案手法は,様々な分類や回帰タスクにおいて,最先端のアクティブラーニング手法と同等かそれ以上に機能することを示した。 また,アリーを生成モードで使用して,新規で最大にインフォーマティブなサンプルを作成する方法を示す。 ALLYの実装コードはhttps://github.com/juanelenter/ALLYにある。

関連論文リスト

• LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
  LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。 LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。 この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
  論文  参考訳（メタデータ） (2024-11-20T18:12:59Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives [10.514866749547558]
  マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。 我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。 提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。 これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
  論文  参考訳（メタデータ） (2022-12-16T19:52:25Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning [0.0]
  本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。 このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
  論文  参考訳（メタデータ） (2020-01-30T17:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。