Fugu-MT 論文翻訳(概要): More Human, More Efficient: Aligning Annotations with Quantized SLMs

論文の概要: More Human, More Efficient: Aligning Annotations with Quantized SLMs

arxiv url: http://arxiv.org/abs/2604.00586v1
Date: Wed, 01 Apr 2026 07:46:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-02 16:44:31.890696
Title: More Human, More Efficient: Aligning Annotations with Quantized SLMs
Title（参考訳）: より人間的で効率的:量子化されたSLMでアノテーションを調整する
Abstract要約: 大きな言語モデル(LLM)の能力は人間の能力より優れており、自動評価やアノテーションにLLMが広く採用されている。本研究は,限定的な人間注釈データ上で1.7Bパラメータの量子化された小言語モデルを微調整し,高度に整列された決定論的評価器および注釈器として機能する可能性について検討する。
参考スコア（独自算出の注目度）: 7.699569505613514
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: As Large Language Model (LLM) capabilities advance, the demand for high-quality annotation of exponentially increasing text corpora has outpaced human capacity, leading to the widespread adoption of LLMs in automatic evaluation and annotation. However, proprietary LLMs often exhibit systematic biases that diverge from human expert consensus, lacks reproducibility, and raises data privacy concerns. Our work examines the viability of finetuning a quantized Small Language Model of 1.7B parameter size on limited human-annotated data to serve as a highly aligned, deterministic evaluator and annotator. By implementing a custom, multi-dimensional rubric framework and simple augmentation and regularization techniques, the proposed approach achieves higher inter-annotator agreement (0.23 points increase in Krippendorff's $α$) than the best performing state-of-the-art proprietary LLM. We also demonstrate the generalizability of the proposed training pipeline on a separate emotion classification task. The results show that task-specific alignment and efficient 4-bit quantized fine-tuning provide superior open-source alternative to using proprietary models for evaluation and annotation. Our finetuning approach is publicly available at https://github.com/jylee-k/slm-judge.
Abstract（参考訳）: LLM(Large Language Model)の能力が向上するにつれて、テキストコーパスが指数関数的に増加するという高品質なアノテーションの需要が人間の能力を上回っ、自動評価やアノテーションにLLMが広く採用されている。しかしながら、プロプライエタリなLLMは、人間の専門家の合意から外れ、再現性に欠け、データのプライバシー上の懸念を提起する体系的なバイアスをしばしば示している。本研究は,限定的な人間注釈データ上で1.7Bパラメータの量子化された小言語モデルを微調整し,高度に整列された決定論的評価器および注釈器として機能する可能性について検討する。カスタムな多次元ルーブリックフレームワークと単純な拡張および正規化技術を実装することにより、提案手法は、最先端のプロプライエタリLCMよりも高いアノテータ間合意(0.23ポイントのKrippendorffの$α$の増加)を達成する。また、個別の感情分類タスクにおいて、提案したトレーニングパイプラインの一般化可能性を示す。その結果,タスク固有のアライメントと効率的な4ビット量子化ファインタニングが,評価やアノテーションに独自のモデルを使用するよりも優れたオープンソースを提供することがわかった。私たちの微調整アプローチはhttps://github.com/jylee-k/slm-judge.comで公開されています。

関連論文リスト

When Weak LLMs Speak with Confidence, Preference Alignment Gets Stronger [12.541521203916867]
優先順位アライメントは、人間の価値に大規模な言語モデルを適用するための重要なステップである。本稿では,LLMの信頼性を弱め,トレーニングサンプルを再重み付けするフレームワークである信頼度重み付き優先度最適化(CW-PO)を提案する。人間のアノテーションの20%しか持たないCW-POは、標準のDPOの下で100%アノテーションでトレーニングされたモデルよりも優れています。
論文参考訳（メタデータ） (2026-03-05T09:06:25Z)
Are Multimodal Large Language Models Good Annotators for Image Tagging? [62.01475514488922]
本稿では,MLLMの生成するアノテーションと人間のアノテーションのギャップを分析することを目的とする。本稿では,MLLM生成アノテーションと人間のアノテーションのギャップを狭めることを目的とした,画像タグ付けのための新しいフレームワークであるTagLLMを提案する。
論文参考訳（メタデータ） (2026-02-24T14:53:16Z)
PRECISE: Reducing the Bias of LLM Evaluations Using Prediction-Powered Ranking Estimation [3.867363075280545]
予測パワー推論(PPI)は、最小限の人間のアノテーションとLLM(Large Language Models)を組み合わせることで、メトリクスの信頼性の高い推定値を生成する。提案手法では,100件の人間アノテーションクエリと1万件の未ラベル例が必要であり,アノテーションの要求を大幅に低減する。
論文参考訳（メタデータ） (2026-01-26T18:46:49Z)
Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side Preference Labeling [0.0]
本稿では,多言語モデル(LLM)における人間の嗜好をモデル化・集約するための直観的ファジィ集合(IFS)に基づく新しい枠組みを提案する。我々のアプローチは、選好の度合いだけでなく、メンバーシップ、非メンバーシップ、およびヒューイテーションの度合いを通じて、人間の判断に固有の不確実性や偏見も捉えている。複数のデータセットに対する実験的検証は、我々のIFSベースのアプローチがアノテーションの一貫性を大幅に改善し、アノテータの疲労を低減し、高品質な嗜好データを生成することを示した。
論文参考訳（メタデータ） (2025-05-30T04:20:00Z)
Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
論文参考訳（メタデータ） (2025-04-07T16:05:52Z)
Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。数発のステアライメントのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-18T16:14:59Z)
FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
論文参考訳（メタデータ） (2024-07-01T02:20:28Z)
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文参考訳（メタデータ） (2024-06-06T18:01:02Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model with Sparse Human Supervision [6.151133144093847]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示した。本稿では,小規模ドメイン固有LMの費用対効果向上を目的とした,インタラクティブ多要素学習(IMFL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:39:23Z)
CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-10-24T08:56:49Z)
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。