論文の概要: Optimizing Active Learning in Vision-Language Models via Parameter-Efficient Uncertainty Calibration

• arxiv url: http://arxiv.org/abs/2507.21521v1
• Date: Tue, 29 Jul 2025 06:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.755397
• Title: Optimizing Active Learning in Vision-Language Models via Parameter-Efficient Uncertainty Calibration
• Title（参考訳）: パラメータ効率のよい不確実性校正による視覚言語モデルの能動学習の最適化
• Authors: Athmanarayanan Lakshmi Narayanan, Amrutha Machireddy, Ranganath Krishnan,
• Abstract要約: 本稿では,アクティブラーニングフレームワークに不確実な校正損失を組み込んだパラメータ効率学習手法を提案する。 提案手法は,複雑な特徴量に基づくサンプリング手法の性能に適合し,超越できることを実証する。
• 参考スコア（独自算出の注目度）: 6.7181844004432385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active Learning (AL) has emerged as a powerful approach for minimizing labeling costs by selectively sampling the most informative data for neural network model development. Effective AL for large-scale vision-language models necessitates addressing challenges in uncertainty estimation and efficient sampling given the vast number of parameters involved. In this work, we introduce a novel parameter-efficient learning methodology that incorporates uncertainty calibration loss within the AL framework. We propose a differentiable loss function that promotes uncertainty calibration for effectively selecting fewer and most informative data samples for fine-tuning. Through extensive experiments across several datasets and vision backbones, we demonstrate that our solution can match and exceed the performance of complex feature-based sampling techniques while being computationally very efficient. Additionally, we investigate the efficacy of Prompt learning versus Low-rank adaptation (LoRA) in sample selection, providing a detailed comparative analysis of these methods in the context of efficient AL.
• Abstract（参考訳）: ニューラルネットワークモデル開発において最も有用なデータを選択的にサンプリングすることで、ラベル付けコストを最小限にするための強力なアプローチとして、アクティブラーニング(AL)が登場した。 大規模視覚言語モデルの効果的なALは、膨大な数のパラメータを考慮し、不確実性推定と効率的なサンプリングの課題に対処する必要がある。 本研究では,ALフレームワークに不確実な校正損失を組み込んだパラメータ効率学習手法を提案する。 そこで本研究では,不確実性の校正を助長し,より少ない,最も情報性の高いデータサンプルの微調整を効果的に行うための識別可能な損失関数を提案する。 いくつかのデータセットやビジョンのバックボーンにわたる広範な実験を通じて、我々のソリューションは計算的に非常に効率的でありながら、複雑な特徴に基づくサンプリング技術の性能にマッチし、超越できることを実証する。 さらに,サンプル選択におけるプロンプト学習とローランク適応(LoRA)の有効性を検討した。

関連論文リスト

• Improving Data and Parameter Efficiency of Neural Language Models Using Representation Analysis [0.0]
  この論文は、ニューラルネットワークモデルにおけるデータとパラメータ効率に関する課題に対処する。 第1部では、ニューラルネットワーク内の言語表現の特性と力学を考察し、堅牢性と一般化の強化におけるそれらの重要性を強調している。 第2部では、アクティブ学習戦略とパラメータ効率の微調整を統合することにより、データとパラメータ効率を大幅に向上させる手法に焦点を当てている。 第3部では、文脈内学習によって強化された弱い監視手法を探求し、ラベルなしデータを効果的に活用する。
  論文  参考訳（メタデータ） (2025-07-16T07:58:20Z)
• CHASe: Client Heterogeneity-Aware Data Selection for Effective Federated Active Learning [22.38403602956309]
  フェデレートアクティブラーニング(FAL)に特化して設計されたCHASe (Client Heterogeneity-Aware Data Selection)を提案する。 CHASeは、トレーニング中の意思決定の境界を揺らぎながら、高い疫学変化(EV)を持つラベルのないサンプルを特定することに重点を置いている。 実験により、CHASeは、さまざまなデータセット、モデル複雑度、異種フェデレーション設定にまたがって検証される、有効性と効率の観点から、確立されたさまざまなベースラインを超えることが示されている。
  論文  参考訳（メタデータ） (2025-04-24T11:28:00Z)
• Parameter-Efficient Active Learning for Foundational models [7.799711162530711]
  基礎的な視覚変換器モデルは、多くの視覚タスクにおいて、驚くほどのショットパフォーマンスを示している。 本研究は,アクティブラーニング(AL)フレームワークにおけるパラメータ効率の良い微調整手法の適用に関する新たな研究である。
  論文  参考訳（メタデータ） (2024-06-13T16:30:32Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
  教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。 多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。 提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
  論文  参考訳（メタデータ） (2021-09-13T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。