論文の概要: LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help?

• arxiv url: http://arxiv.org/abs/2411.06877v1
• Date: Mon, 11 Nov 2024 11:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:54.295773
• Title: LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help?
• Title（参考訳）: LLM-Assisted Relevance Assessments: LLMにいつ助けを求めるべきか?
• Authors: Rikiya Takehi, Ellen M. Voorhees, Tetsuya Sakai,
• Abstract要約: テストコレクションは、研究者がランキングアルゴリズムを迅速かつ容易に評価できる情報検索ツールである。 LLMアノテーションとマニュアルアノテーションのバランスをとるためにtextbfLLM-textbfAssisted textbfRelevance textbfAssessments (textbfLARA)を提案する。
• 参考スコア（独自算出の注目度）: 18.663118865354427
• License:
• Abstract: Test collections are information retrieval tools that allow researchers to quickly and easily evaluate ranking algorithms. While test collections have become an integral part of IR research, the process of data creation involves significant efforts in manual annotations, which often makes it very expensive and time-consuming. Thus, the test collections could become small when the budget is limited, which may lead to unstable evaluations. As an alternative, recent studies have proposed the use of large language models (LLMs) to completely replace human assessors. However, while LLMs seem to somewhat correlate with human judgments, they are not perfect and often show bias. Moreover, even if a well-performing LLM or prompt is found on one dataset, there is no guarantee that it will perform similarly in practice, due to difference in tasks and data. Thus a complete replacement with LLMs is argued to be too risky and not fully trustable. Thus, in this paper, we propose \textbf{L}LM-\textbf{A}ssisted \textbf{R}elevance \textbf{A}ssessments (\textbf{LARA}), an effective method to balance manual annotations with LLM annotations, which helps to make a rich and reliable test collection. We use the LLM's predicted relevance probabilities in order to select the most profitable documents to manually annotate under a budget constraint. While solely relying on LLM's predicted probabilities to manually annotate performs fairly well, with theoretical reasoning, LARA guides the human annotation process even more effectively via online calibration learning. Then, using the calibration model learned from the limited manual annotations, LARA debiases the LLM predictions to annotate the remaining non-assessed data. Empirical evaluations on TREC-COVID and TREC-8 Ad Hoc datasets show that LARA outperforms the alternative solutions under almost any budget constraint.
• Abstract（参考訳）: テストコレクションは、研究者がランキングアルゴリズムを迅速かつ容易に評価できる情報検索ツールである。 テストコレクションはIR研究の不可欠な部分となっているが、データ生成のプロセスは手動のアノテーションに多大な労力を要するため、非常に高価で時間を要することが多い。 したがって、予算が限られるとテストコレクションが小さくなり、不安定な評価につながる可能性がある。 代替として、近年の研究では、人間のアセスメントを完全に置き換えるための大規模言語モデル(LLM)が提案されている。 しかし、LSMは人間の判断と何らかの相関があるように見えるが、完全ではなく、しばしば偏見を示す。 さらに、あるデータセットで優れた性能のLLMやプロンプトが見つかったとしても、タスクやデータの違いにより、実際にも同様に実行されるという保証はない。 したがって、LLMの完全な置き換えは危険であり、完全に信頼できないと論じられている。 そこで,本稿では,手動アノテーションとLLMアノテーションのバランスをとる効果的な手法である,よりリッチで信頼性の高いテストコレクション作成を支援する方法として, \textbf{L}LM-\textbf{A}ssisted \textbf{R}elevance \textbf{A}ssessments (\textbf{LARA})を提案する。 予算制約の下で手作業でアノテートするための最も利益の高い文書を選択するために, LLM の予測関連性確率を用いている。 LARAは、手動で注釈を書けると予測されるLSMの確率にのみ依存するが、理論的理由から、LARAはオンライン校正学習を通じてより効果的に人間のアノテーションプロセスを導く。 次に、制限されたマニュアルアノテーションから学習した校正モデルを用いて、LARAはLCM予測を除いて、残りの非アセスドデータにアノテートする。 TREC-COVID と TREC-8 のアドホックデータセットに対する実証的な評価は、LARA がほぼあらゆる予算制約の下で代替ソリューションより優れていることを示している。

関連論文リスト

• Large Language Models: An Applied Econometric Framework [1.348318541691744]
  我々はこの問題に答えるための計量的枠組みを開発する。 LLMのトレーニングデータセットと研究者のサンプルの間に「漏れがない」という条件下では、予測問題にLLMを使用することは有効である。 これらの要件は厳密であり、それらが破られると、LLMの制限は信頼できない経験的推定をもたらす。
  論文  参考訳（メタデータ） (2024-12-09T22:37:48Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
  大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
  論文  参考訳（メタデータ） (2024-10-30T17:02:54Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation [24.954629877691623]
  TICK(Targeted Instruct-evaluation with ChecKlists)は、完全に自動化され、解釈可能な評価プロトコルである。 まず,LLMが高品質な評価チェックリストを確実に生成できることを示す。 次に、STICKは、自己精製とBest-of-N選択により、複数のベンチマークで生成品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T17:09:08Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。