論文の概要: Next Generation Active Learning: Mixture of LLMs in the Loop

• arxiv url: http://arxiv.org/abs/2601.15773v1
• Date: Thu, 22 Jan 2026 09:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.552434
• Title: Next Generation Active Learning: Mixture of LLMs in the Loop
• Title（参考訳）: 次世代アクティブラーニング:ループにおけるLLMの混合
• Authors: Yuanyuan Qi, Xiaohao Yang, Jueqing Lu, Guoxiang Guo, Joanne Enticott, Gang Liu, Lan Du,
• Abstract要約: そこで本研究では,Mixture-of-LLMsアノテーションモデルを用いて生成したラベルを人間のアノテーションに置き換える,新しいアクティブラーニングフレームワークを提案する。 我々のフレームワークは軽量なLLM上に構築されており、実世界のアプリケーションでローカルマシンで完全に動作することが可能です。
• 参考スコア（独自算出の注目度）: 7.786330678327967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement and strong generalization capabilities of large language models (LLMs), they have been increasingly incorporated into the active learning pipelines as annotators to reduce annotation costs. However, considering the annotation quality, labels generated by LLMs often fall short of real-world applicability. To address this, we propose a novel active learning framework, Mixture of LLMs in the Loop Active Learning, replacing human annotators with labels generated through a Mixture-of-LLMs-based annotation model, aimed at enhancing LLM-based annotation robustness by aggregating the strengths of multiple LLMs. To further mitigate the impact of the noisy labels, we introduce annotation discrepancy and negative learning to identify the unreliable annotations and enhance learning effectiveness. Extensive experiments demonstrate that our framework achieves performance comparable to human annotation and consistently outperforms single-LLM baselines and other LLM-ensemble-based approaches. Moreover, our framework is built on lightweight LLMs, enabling it to operate fully on local machines in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩と強力な一般化能力により、アノテーションコストを削減するためのアノテータとしてアクティブラーニングパイプラインに組み込まれている。 しかし、アノテーションの品質を考えると、LLMが生成するラベルは実世界の適用性に欠けることが多い。 そこで本研究では,複数のLLMの強みを集約することにより,LLMに基づくアノテートロバスト性を向上することを目的とした,LLMのアノテーションモデルにより生成されたラベルを,人間のアノテータに置き換える,新たなアクティブラーニングフレームワークであるLLMのループアクティブラーニングにおけるミキチャー(mixture of LLM)を提案する。 ノイズラベルの影響を緩和するため,信頼できないアノテーションを識別し,学習効率を高めるために,アノテーションの相違と負の学習を導入する。 大規模な実験により、我々のフレームワークは人間のアノテーションに匹敵する性能を達成し、単一LLMベースラインやその他のLLMアンサンブルベースのアプローチを一貫して上回っていることが示された。 さらに,本フレームワークは軽量LLM上に構築されており,実世界のアプリケーションにおいて,ローカルマシン上で完全に動作可能である。

関連論文リスト

• Beyond Static LLM Policies: Imitation-Enhanced Reinforcement Learning for Recommendation [23.945049006150555]
  大規模言語モデル(LLM)は、多様なデジタルプラットフォームにまたがってパーソナライズされたコンテンツを配信することによって、ユーザエンゲージメントを高める重要なツールとなっている。 LLMを主要なレコメンデーションポリシとして直接デプロイすることは、永続的なレイテンシの問題を含む、注目すべき課題を提示する。 本稿では,LLM生成軌道からの模倣学習を利用した新しいオフライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-15T07:28:29Z)
• Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks [18.695435335031355]
  複数のもっともらしい回答を持つ主観的アノテーションタスクでは、LCM出力のレビューはラベルの分布を変えることができる。 410種類のアノテーションと7000以上のアノテーションを用いた事前登録実験を行った。 その結果, LLM によるアノテーション提案をクラウドワーカーに提示することは, より迅速ではなく, 自己報告によるタスクへの信頼感を向上させることができた。
  論文  参考訳（メタデータ） (2025-07-21T17:29:21Z)
• Enhancing LLM-based Recommendation through Semantic-Aligned Collaborative Knowledge [25.757451106327167]
  SeLLa-RecはCollabs.とLLMsのセマンティック空間間のアライメントの実現に重点を置いている。 このアライメントは効果的な知識融合を促進し、識別ノイズの影響を緩和する。 2つの公開ベンチマークデータセットで実施された実験は、SeLLa-Recが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-14T11:15:30Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
  マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。 本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models [21.88032973150393]
  大規模言語モデル(LLM)からのタスク固有知識の対話的蒸留とフィルタリング 8つのベンチマークデータセットの実験では、FreeALは人間の監督なしに、SLMとLLMのゼロショット性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-27T08:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。