論文の概要: Cost-aware LLM-based Online Dataset Annotation

• arxiv url: http://arxiv.org/abs/2505.15101v1
• Date: Wed, 21 May 2025 04:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.870619
• Title: Cost-aware LLM-based Online Dataset Annotation
• Title（参考訳）: 費用対効果を考慮したLCMに基づくオンラインデータセットアノテーション
• Authors: Eray Can Elumar, Cem Tekin, Osman Yagan,
• Abstract要約: CaMVoは、効率的かつ正確なデータセットアノテーションのためのオンラインフレームワークである。 事前トレーニングや地道ラベルを必要とせずに、コンテキスト埋め込み、信頼性とコストのバランスを取る。 過半数の投票に匹敵する、あるいは優れた精度を達成し、ラベルのコストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 14.69261466438399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have enabled automated dataset labeling with minimal human supervision. While majority voting across multiple LLMs can improve label reliability by mitigating individual model biases, it incurs high computational costs due to repeated querying. In this work, we propose a novel online framework, Cost-aware Majority Voting (CaMVo), for efficient and accurate LLM-based dataset annotation. CaMVo adaptively selects a subset of LLMs for each data instance based on contextual embeddings, balancing confidence and cost without requiring pre-training or ground-truth labels. Leveraging a LinUCB-based selection mechanism and a Bayesian estimator over confidence scores, CaMVo estimates a lower bound on labeling accuracy for each LLM and aggregates responses through weighted majority voting. Our empirical evaluation on the MMLU and IMDB Movie Review datasets demonstrates that CaMVo achieves comparable or superior accuracy to full majority voting while significantly reducing labeling costs. This establishes CaMVo as a practical and robust solution for cost-efficient annotation in dynamic labeling environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩により、人間の監督を最小限に抑えた自動データセットラベリングが可能になった。 複数のLSMにまたがる過半数の投票は、個々のモデルのバイアスを緩和することでラベルの信頼性を向上させることができるが、反復的なクエリによって高い計算コストが発生する。 本研究では,LCMベースのデータセットアノテーションを効率よく,かつ正確なものにするための新しいオンラインフレームワークCaMVoを提案する。 CaMVoは、事前トレーニングやグランドトラストラベルを必要とせずに、コンテキスト埋め込み、信頼性とコストのバランスに基づいて、各データインスタンスのLCMのサブセットを適応的に選択する。 信頼性スコアよりもLinUCBベースの選択機構とベイズ推定器を活用して、CaMVoは各LSMのラベル付け精度の低い境界を推定し、重み付けされた多数決投票を通じて応答を集計する。 MMLUおよびIMDB Movie Reviewデータセットを用いた実証評価の結果, CaMVoは過半数投票に匹敵する精度を達成でき, ラベル付けコストを大幅に削減できることがわかった。 これにより、動的ラベル付け環境におけるコスト効率のよいアノテーションのための実用的で堅牢なソリューションとしてCaMVoが確立される。

関連論文リスト

• Labels Generated by Large Language Model Helps Measuring People's Empathy in Vitro [9.536979155245026]
  大規模言語モデル(LLM)は多くの分野に革命をもたらした。 本稿では,その生体内応用の可能性について考察する。 我々は、共感コンピューティングの新たな分野において、このアプローチを評価する。
  論文  参考訳（メタデータ） (2025-01-01T01:06:58Z)
• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [20.793892860721712]
  MetaLLMは,各クエリを最適大言語モデル(LLM)に動的かつインテリジェントにルーティングするフレームワークである。 多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。 OpenAI や Together AI などの一般的な LLM プラットフォーム上で実施した実験では,現実世界のシナリオにおいて MetaLLM の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-15T15:45:07Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。