論文の概要: To Label or Not to Label: PALM -- A Predictive Model for Evaluating Sample Efficiency in Active Learning Models

• arxiv url: http://arxiv.org/abs/2507.15381v1
• Date: Mon, 21 Jul 2025 08:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.325372
• Title: To Label or Not to Label: PALM -- A Predictive Model for Evaluating Sample Efficiency in Active Learning Models
• Title（参考訳）: ラベル付けの有無:PALM -- アクティブラーニングモデルにおけるサンプル効率の評価予測モデル
• Authors: Julia Machnio, Mads Nielsen, Mostafa Mehdipour Ghazi,
• Abstract要約: アクティブラーニング(AL)は、ラベル付けのための最も有益なサンプルを選択することで、アノテーションのコストを削減しようとしている。 最終精度のみに焦点をあてた従来の評価手法は、学習過程の完全なダイナミクスを捉えることができない。 本研究では,4つのキーパラメータからAL軌道を特徴付ける統一的・解釈可能な数学的モデルであるPALMを提案する。
• 参考スコア（独自算出の注目度）: 2.2667044928324747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning (AL) seeks to reduce annotation costs by selecting the most informative samples for labeling, making it particularly valuable in resource-constrained settings. However, traditional evaluation methods, which focus solely on final accuracy, fail to capture the full dynamics of the learning process. To address this gap, we propose PALM (Performance Analysis of Active Learning Models), a unified and interpretable mathematical model that characterizes AL trajectories through four key parameters: achievable accuracy, coverage efficiency, early-stage performance, and scalability. PALM provides a predictive description of AL behavior from partial observations, enabling the estimation of future performance and facilitating principled comparisons across different strategies. We validate PALM through extensive experiments on CIFAR-10/100 and ImageNet-50/100/200, covering a wide range of AL methods and self-supervised embeddings. Our results demonstrate that PALM generalizes effectively across datasets, budgets, and strategies, accurately predicting full learning curves from limited labeled data. Importantly, PALM reveals crucial insights into learning efficiency, data space coverage, and the scalability of AL methods. By enabling the selection of cost-effective strategies and predicting performance under tight budget constraints, PALM lays the basis for more systematic, reproducible, and data-efficient evaluation of AL in both research and real-world applications. The code is available at: https://github.com/juliamachnio/PALM.
• Abstract（参考訳）: アクティブラーニング(AL)は、ラベル付けのための最も情報性の高いサンプルを選択することで、アノテーションのコストを削減しようとしている。 しかし、最終精度にのみ焦点をあてた従来の評価手法では、学習過程の完全なダイナミクスを捉えることができない。 このギャップに対処するため,我々は,ALトラジェクトリを4つの重要なパラメータ(達成可能な精度,カバレッジ効率,早期性能,スケーラビリティ)で特徴付ける統一的・解釈可能な数学的モデルであるPALM(Performance Analysis of Active Learning Models)を提案する。 PALMは部分的な観察からALの振る舞いを予測的に記述し、将来のパフォーマンスを推定し、異なる戦略間での原則的な比較を容易にする。 CIFAR-10/100とImageNet-50/100/200の広範な実験を通じてPALMを検証する。 この結果から,PALMはデータセット,予算,戦略全体にわたって効果的に一般化し,ラベル付き限られたデータから学習曲線を正確に予測できることが示唆された。 重要な点として、PALMは学習効率、データ空間のカバレッジ、ALメソッドのスケーラビリティに関する重要な洞察を明らかにしている。 費用対効果戦略の選択を可能にし、予算の厳しい制約下での性能を予測することにより、PALMは研究と実世界の双方でALのより体系的で再現性があり、データ効率のよい評価の基礎を定めている。 コードは、https://github.com/juliamachnio/PALM.comで入手できる。

関連論文リスト

• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• Parameter-Efficient Active Learning for Foundational models [7.799711162530711]
  基礎的な視覚変換器モデルは、多くの視覚タスクにおいて、驚くほどのショットパフォーマンスを示している。 本研究は,アクティブラーニング(AL)フレームワークにおけるパラメータ効率の良い微調整手法の適用に関する新たな研究である。
  論文  参考訳（メタデータ） (2024-06-13T16:30:32Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
  多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。 我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
  論文  参考訳（メタデータ） (2023-12-26T08:14:46Z)
• Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection [31.304039641225504]
  本稿では,オブジェクト検出のための平均APガイド型アクティブラーニングについて紹介する。 MGRALは、予測されたモデル出力変化の概念を深層検知ネットワークの情報性として活用する新しいアプローチである。 提案手法は,物体検出のための強化学習に基づく能動学習における新たなパラダイムを確立し,高い性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T14:59:22Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。