Fugu-MT 論文翻訳(概要): Generative Information Retrieval Evaluation

論文の概要: Generative Information Retrieval Evaluation

arxiv url: http://arxiv.org/abs/2404.08137v3
Date: Thu, 30 Jan 2025 00:52:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-01 01:16:57.406976
Title: Generative Information Retrieval Evaluation
Title（参考訳）: 生成的情報検索評価
Authors: Marwah Alaofi, Negar Arabzadeh, Charles L. A. Clarke, Mark Sanderson,
Abstract要約: 本稿では,2つの異なる相互関連視点から生成情報検索の評価を検討する。まず、大規模言語モデル(LLM)自体が急速に評価ツールになりつつある。第2に,新興LLMに基づく生成情報検索(GenIR)システムの評価について検討する。
参考スコア（独自算出の注目度）: 32.38444700888198
License:
Abstract: In this chapter, we consider generative information retrieval evaluation from two distinct but interrelated perspectives. First, large language models (LLMs) themselves are rapidly becoming tools for evaluation, with current research indicating that LLMs may be superior to crowdsource workers and other paid assessors on basic relevance judgement tasks. We review past and ongoing related research, including speculation on the future of shared task initiatives, such as TREC, and a discussion on the continuing need for human assessments. Second, we consider the evaluation of emerging LLM-based generative information retrieval (GenIR) systems, including retrieval augmented generation (RAG) systems. We consider approaches that focus both on the end-to-end evaluation of GenIR systems and on the evaluation of a retrieval component as an element in a RAG system. Going forward, we expect the evaluation of GenIR systems to be at least partially based on LLM-based assessment, creating an apparent circularity, with a system seemingly evaluating its own output. We resolve this apparent circularity in two ways: 1) by viewing LLM-based assessment as a form of "slow search", where a slower IR system is used for evaluation and training of a faster production IR system; and 2) by recognizing a continuing need to ground evaluation in human assessment, even if the characteristics of that human assessment must change.
Abstract（参考訳）: 本章では,2つの異なる相互関連視点から生成的情報検索の評価について考察する。第一に、大規模言語モデル(LLM)自体が急速に評価ツールとなりつつあり、近年の研究では、LLMはクラウドソースの労働者や、基本的な関連性判断タスクの有償アセスメントよりも優れていることが示されている。我々は、TRECのような共有タスクイニシアチブの将来に関する憶測や、人間の評価の必要性に関する議論を含む、過去および現在進行中の研究をレビューする。第2に,新たなLLMベース生成情報検索システム (GenIR) の評価について検討する。我々は、GenIRシステムのエンドツーエンド評価と、RAGシステムにおける要素としての検索コンポーネントの評価の両方に焦点を当てたアプローチを検討する。今後,GenIRシステムの評価は,少なくとも部分的にはLCMに基づく評価に基づいて行われることが期待されている。この明らかな円度を2つの方法で解決する。 1) LLMに基づく評価を「スローサーチ」の形式として見ることにより、より遅いIRシステムを用いて、より高速な生産IRシステムの評価と訓練を行う。 2) 人的評価において, 人的評価の特徴が変化しても, 基礎的評価の必要性を認識させることにより, 人的評価の特性を変化させることができた。

関連論文リスト

MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文参考訳（メタデータ） (2024-11-22T18:59:54Z)
IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
論文参考訳（メタデータ） (2024-10-31T17:04:59Z)
CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
論文参考訳（メタデータ） (2024-10-21T17:56:51Z)
ReIFE: Re-evaluating Instruction-Following Evaluation [105.75525154888655]
本稿では,25基のLDMと15の提案された評価プロトコルを含む,命令の完全なメタ評価について述べる。評価により,高いロバスト性を有する最良性能のLCMと評価プロトコルを同定できる。
論文参考訳（メタデータ） (2024-10-09T17:14:50Z)
Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
論文参考訳（メタデータ） (2024-05-13T02:33:25Z)
Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
論文参考訳（メタデータ） (2023-11-08T14:05:00Z)
Post Turing: Mapping the landscape of LLM Evaluation [22.517544562890663]
本稿では,アラン・チューリングによる基礎的疑問からAI研究の現代まで,大規模言語モデル (LLM) 評価の歴史的軌跡を追究する。これらのモデルのより広範な社会的意味を考慮し、統一的な評価システムの必要性を強調した。この作業は、AIコミュニティがLLM評価の課題に協力して対処し、信頼性、公正性、社会的な利益を保証するために役立ちます。
論文参考訳（メタデータ） (2023-11-03T17:24:50Z)
Hierarchical Evaluation Framework: Best Practices for Human Evaluation [17.91641890651225]
NLPハマーにおける広く受け入れられている評価基準の欠如は、異なるシステム間での公正な比較と、普遍的な評価基準の確立である。我々は,NLPシステムの性能をより包括的に表現するための,独自の階層的評価フレームワークを開発した。今後の課題として,NLPシステムの評価を行う上で,提案するフレームワークの時間節約効果について検討する。
論文参考訳（メタデータ） (2023-10-03T09:46:02Z)
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文参考訳（メタデータ） (2022-12-15T17:26:05Z)
Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。