論文の概要: No Free Lunch in Active Learning: LLM Embedding Quality Dictates Query Strategy Success

• arxiv url: http://arxiv.org/abs/2506.01992v1
• Date: Sun, 18 May 2025 10:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.666105
• Title: No Free Lunch in Active Learning: LLM Embedding Quality Dictates Query Strategy Success
• Title（参考訳）: アクティブラーニングにおける無料のランチ:LLM埋め込み品質はクエリ戦略を成功させる
• Authors: Lukas Rauch, Moritz Wirth, Denis Huseljic, Marek Herde, Bernhard Sick, Matthias Aßenmacher,
• Abstract要約: 汎用表現を生成できる大規模言語モデル(LLM)により、深層能動学習(AL)の実践性を再考することができる。 本研究は,LLM埋込み品質が深いALの問合せ戦略に与える影響について,ベンチマークを定式化し,系統的に検討する。
• 参考スコア（独自算出の注目度）: 1.950171084881346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of large language models (LLMs) capable of producing general-purpose representations lets us revisit the practicality of deep active learning (AL): By leveraging frozen LLM embeddings, we can mitigate the computational costs of iteratively fine-tuning large backbones. This study establishes a benchmark and systematically investigates the influence of LLM embedding quality on query strategies in deep AL. We employ five top-performing models from the massive text embedding benchmark (MTEB) leaderboard and two baselines for ten diverse text classification tasks. Our findings reveal key insights: First, initializing the labeled pool using diversity-based sampling synergizes with high-quality embeddings, boosting performance in early AL iterations. Second, the choice of the optimal query strategy is sensitive to embedding quality. While the computationally inexpensive Margin sampling can achieve performance spikes on specific datasets, we find that strategies like Badge exhibit greater robustness across tasks. Importantly, their effectiveness is often enhanced when paired with higher-quality embeddings. Our results emphasize the need for context-specific evaluation of AL strategies, as performance heavily depends on embedding quality and the target task.
• Abstract（参考訳）: 汎用表現を生成できる大規模言語モデル(LLM)の出現により、深層能動学習(AL)の実践性を再考することができる。 本研究は,LLM埋込み品質が深いALの問合せ戦略に与える影響について,ベンチマークを定式化し,系統的に検討する。 我々は、MTEB(Magous Text Embedding benchmark)リーダーボードと10種類のテキスト分類タスクのための2つのベースラインから、上位5つのパフォーマンスモデルを採用する。 まず、多様性に基づくサンプリングと高品質な埋め込みを併用し、ラベル付きプールを初期化し、初期のALイテレーションのパフォーマンスを向上する。 第二に、最適なクエリ戦略の選択は、埋め込み品質に敏感である。 計算的に安価なMarginサンプリングは特定のデータセットのパフォーマンススパイクを達成することができるが、Badgeのような戦略はタスク間でより堅牢性を示す。 重要なことに、それらの効果は、高品質な埋め込みと組み合わせることでしばしば強化される。 この結果から,AL戦略のコンテキスト特異的評価の必要性が強調された。

関連論文リスト

• Layer-Aware Embedding Fusion for LLMs in Text Classifications [1.4250487522292254]
  層認識型埋め込み選択法を提案し, 異なる層を定量的に評価し, 下流のNLPタスクにおいて最も重要なものを特定する方法について検討する。 4つの英語テキスト分類データセットの実験により、LLMの異なる層は、分類のための表現力の度合いが異なることが示された。 また、モデル微調整を必要とせず、複数のLLMからの埋め込みを組み合わせることで、パフォーマンスが向上する可能性についても検討する。
  論文  参考訳（メタデータ） (2025-04-08T07:45:50Z)
• Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification [4.811763060654019]
  本稿では,テキスト分類のための簡易かつ効果的なマルチエージェントプロンプトであるPRINCIPLE-BASED PROMPINGを提案する。 提案手法はマクロF1スコアでのゼロショットプロンプトよりも大きなパフォーマンス向上(1.55%から19.37%)を達成する。 我々のマルチエージェント PRINCIPLE-BASED PROMPING アプローチは、実演ベースの少数ショットプロンプトアプローチと比較して、オンパーまたはより良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-02-11T01:10:13Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Active Prompt Learning with Vision-Language Model Priors [9.173468790066956]
  視覚言語モデルの事前学習画像とテキストエンコーダを利用するクラス誘導クラスタリングを提案する。 適応型クラスワイドしきい値に基づく予算削減型選択クエリを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:34:33Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。