論文の概要: Dependency-aware Maximum Likelihood Estimation for Active Learning

• arxiv url: http://arxiv.org/abs/2503.05969v1
• Date: Fri, 07 Mar 2025 22:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:13.878040
• Title: Dependency-aware Maximum Likelihood Estimation for Active Learning
• Title（参考訳）: 能動学習のための依存性を考慮した最大近似推定法
• Authors: Beyza Kalkanli, Tales Imbiriba, Stratis Ioannidis, Deniz Erdogmus, Jennifer Dy,
• Abstract要約: Active Learningは、アノテータからラベルをクエリするためのサンプルを戦略的に選択することで、ラベル付きトレーニングセットを効率的に構築することを目的としている。 このシーケンシャルなプロセスでは、各サンプル取得がその後の選択に影響を与え、ラベル付き集合のサンプル間の依存関係を引き起こす。 そこで本研究では,本手法を応用したMLE (Dependency-aware MLE) を提案する。
• 参考スコア（独自算出の注目度）: 18.52352066452835
• License:
• Abstract: Active learning aims to efficiently build a labeled training set by strategically selecting samples to query labels from annotators. In this sequential process, each sample acquisition influences subsequent selections, causing dependencies among samples in the labeled set. However, these dependencies are overlooked during the model parameter estimation stage when updating the model using Maximum Likelihood Estimation (MLE), a conventional method that assumes independent and identically distributed (i.i.d.) data. We propose Dependency-aware MLE (DMLE), which corrects MLE within the active learning framework by addressing sample dependencies typically neglected due to the i.i.d. assumption, ensuring consistency with active learning principles in the model parameter estimation process. This improved method achieves superior performance across multiple benchmark datasets, reaching higher performance in earlier cycles compared to conventional MLE. Specifically, we observe average accuracy improvements of 6\%, 8.6\%, and 10.5\% for $k=1$, $k=5$, and $k=10$ respectively, after collecting the first 100 samples, where entropy is the acquisition function and $k$ is the query batch size acquired at every active learning cycle.
• Abstract（参考訳）: Active Learningは、アノテータからラベルをクエリするためのサンプルを戦略的に選択することで、ラベル付きトレーニングセットを効率的に構築することを目的としている。 このシーケンシャルなプロセスでは、各サンプル取得がその後の選択に影響を与え、ラベル付き集合のサンプル間の依存関係を引き起こす。 しかし、これらの依存関係は、モデルパラメータ推定段階において、独立で同一に分散したデータ(すなわち、d.d.)を仮定する従来の手法である、MLE(Maximum Likelihood Estimation)を用いてモデルを更新する際に見過ごされる。 本稿では,モデルパラメータ推定プロセスにおけるアクティブな学習原理との整合性を確保するため,通常無視されるサンプル依存に対処することで,アクティブな学習フレームワーク内のMLEを補正する依存性認識型MLE(DMLE)を提案する。 この改良された手法は、複数のベンチマークデータセット間で優れた性能を達成し、従来のMLEと比較して、より早いサイクルで高い性能を達成する。 具体的には、最初の100サンプルを収集した後、それぞれ$k=1$、$k=5$、$k=10$の平均精度改善を6\%、8.6\%、および10.5\%で観測し、エントロピーは取得関数であり、$k$はアクティブな学習サイクル毎に取得されるクエリバッチサイズである。

関連論文リスト

• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)
• Active Sampling of Multiple Sources for Sequential Estimation [92.37271004438406]
  本研究の目的は,パラメータを逐次推定するアクティブサンプリングアルゴリズムを設計し,信頼性の高い推定値を生成することである。 本稿では, エンフ条件推定コスト関数を導入し, 最近, トラクタブル解析を施した逐次推定手法を提案する。
  論文  参考訳（メタデータ） (2022-08-10T15:58:05Z)
• ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning [7.94190631530826]
  トレーニングプロセスの効率を最大化するためには、アクティブラーニング(AL)がますます重要になっている。 学生教師の一貫性に基づくALアルゴリズム(ST-CoNAL)を提案する。 CIFAR-10、CIFAR-100、Caltech-256、Tiny ImageNetの画像分類タスクに対して行われた実験は、提案したSTCoNALが既存の取得方法よりも大幅に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-05T17:25:59Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
  教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。 メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
  論文  参考訳（メタデータ） (2020-09-10T15:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。