Fugu-MT 論文翻訳(概要): Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG

論文の概要: Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG

arxiv url: http://arxiv.org/abs/2504.05220v2
Date: Tue, 08 Apr 2025 02:11:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-09 10:05:14.106776
Title: Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG
Title（参考訳）: ユーティリティ指向アノテーションのためのLCMの活用:検索とRAGのための手作業の削減
Authors: Hengran Zhang, Minghao Tang, Keping Bi, Jiafeng Guo, Shihao Liu, Daiting Shi, Dawei Yin, Xueqi Cheng,
Abstract要約: 本研究では,Large Language Models (LLMs) が,検索モデルのトレーニングにおいて,人間のアノテーションを効果的に置き換えられるかどうかを検討する。提案実験により,実用性を重視したアノテーションを訓練したレトリバーは,ドメイン外設定でトレーニングしたアノテーションを有意に上回った。 20%の人間アノテーションでトレーニングされたデータだけで、ユーティリティ中心のアノテーションでトレーニングされたレトリバーが、完全に人間のアノテーションでトレーニングされたモデルのパフォーマンスにマッチする。
参考スコア（独自算出の注目度）: 69.51637252264277
License:
Abstract: Retrieval models typically rely on costly human-labeled query-document relevance annotations for training and evaluation. To reduce this cost and leverage the potential of Large Language Models (LLMs) in relevance judgments, we aim to explore whether LLM-generated annotations can effectively replace human annotations in training retrieval models. Retrieval usually emphasizes relevance, which indicates "topic-relatedness" of a document to a query, while in RAG, the value of a document (or utility) depends on how it contributes to answer generation. Recognizing this mismatch, some researchers use LLM performance on downstream tasks with documents as labels, but this approach requires manual answers for specific tasks, leading to high costs and limited generalization. In another line of work, prompting LLMs to select useful documents as RAG references eliminates the need for human annotation and is not task-specific. If we leverage LLMs' utility judgments to annotate retrieval data, we may retain cross-task generalization without human annotation in large-scale corpora. Therefore, we investigate utility-focused annotation via LLMs for large-scale retriever training data across both in-domain and out-of-domain settings on the retrieval and RAG tasks. To reduce the impact of low-quality positives labeled by LLMs, we design a novel loss function, i.e., Disj-InfoNCE. Our experiments reveal that: (1) Retrievers trained on utility-focused annotations significantly outperform those trained on human annotations in the out-of-domain setting on both tasks, demonstrating superior generalization capabilities. (2) LLM annotation does not replace human annotation in the in-domain setting. However, incorporating just 20% human-annotated data enables retrievers trained with utility-focused annotations to match the performance of models trained entirely with human annotations.
Abstract（参考訳）: 検索モデルは典型的には、トレーニングと評価に人為的にラベル付けされたクエリドキュメント関連アノテーションを頼りにしている。このコストを削減し、関連判断におけるLarge Language Models (LLMs) の可能性を活用するために、LLM生成アノテーションが学習モデルにおける人間のアノテーションを効果的に置き換えられるかどうかを検討することを目的とする。 Retrievalは通常、クエリに対するドキュメントの"トピック関連性"を示す関連性を強調するが、RAGでは、ドキュメント(またはユーティリティ)の価値は、それが応答生成にどのように貢献するかに依存する。このミスマッチを認識して、文書をラベルとして下流タスクでLLMのパフォーマンスを使用する研究者もいるが、このアプローチでは特定のタスクに対して手動で回答する必要があるため、コストが高く、一般化が限られている。別の作業では、RAG参照としてLCMが有用なドキュメントを選択するように促すことで、人間のアノテーションは不要になり、タスク固有のものではない。 LLMの効用判断を利用してアノテート検索データを利用する場合、大規模なコーパスにおいて人間のアノテーションを使わずにクロスタスクの一般化を維持することができる。そこで本研究では,検索タスクとRAGタスクにおいて,ドメイン内およびドメイン外の両方にまたがる大規模検索データに対して,LCMによるユーティリティ重視アノテーションについて検討する。 LLMによってラベル付けされた低品質な正の効果を低減するため、新しい損失関数、すなわちDisj-InfoNCEを設計する。 1)実用性を重視したアノテーションで訓練されたレトリバーは、両方のタスクにおけるドメイン外の設定において、人間のアノテーションで訓練されたレトリバーを著しく上回り、より優れた一般化能力を示す。 2) LLMアノテーションは、ドメイン内での人間のアノテーションを置き換えるものではない。しかしながら、わずか20%の人間アノテーション付きデータを組み込むことで、ユーティリティ中心のアノテーションでトレーニングされた検索者が、完全に人間のアノテーションでトレーニングされたモデルのパフォーマンスにマッチすることができる。

論文の概要: Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG

関連論文リスト