論文の概要: RankArena: A Unified Platform for Evaluating Retrieval, Reranking and RAG with Human and LLM Feedback
- arxiv url: http://arxiv.org/abs/2508.05512v1
- Date: Thu, 07 Aug 2025 15:46:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.93726
- Title: RankArena: A Unified Platform for Evaluating Retrieval, Reranking and RAG with Human and LLM Feedback
- Title（参考訳）: RankArena:人間とLLMのフィードバックで検索、ランク付け、RAGを評価する統一プラットフォーム
- Authors: Abdelrahman Abdallah, Mahmoud Abdalla, Bhawna Piryani, Jamshid Mozafari, Mohammed Ali, Adam Jatowt,
- Abstract要約: RankArenaは、検索パイプライン、リランカー、RAGシステムのパフォーマンスを比較分析するための統一されたプラットフォームである。
複数の評価モードをサポートする: 直接的再分類、人またはLLM投票と盲対比較、手動文書アノテーションの監督、エンドツーエンドのRAG回答品質評価。
ペアワイズな好みとフルリストのアノテーションと、ムーブメントメトリクス、アノテーションタイム、品質評価などの補助メタデータを通じて、詳細な関連性フィードバックをキャプチャする。
- 参考スコア（独自算出の注目度）: 14.456969388690066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the quality of retrieval-augmented generation (RAG) and document reranking systems remains challenging due to the lack of scalable, user-centric, and multi-perspective evaluation tools. We introduce RankArena, a unified platform for comparing and analysing the performance of retrieval pipelines, rerankers, and RAG systems using structured human and LLM-based feedback as well as for collecting such feedback. RankArena supports multiple evaluation modes: direct reranking visualisation, blind pairwise comparisons with human or LLM voting, supervised manual document annotation, and end-to-end RAG answer quality assessment. It captures fine-grained relevance feedback through both pairwise preferences and full-list annotations, along with auxiliary metadata such as movement metrics, annotation time, and quality ratings. The platform also integrates LLM-as-a-judge evaluation, enabling comparison between model-generated rankings and human ground truth annotations. All interactions are stored as structured evaluation datasets that can be used to train rerankers, reward models, judgment agents, or retrieval strategy selectors. Our platform is publicly available at https://rankarena.ngrok.io/, and the Demo video is provided https://youtu.be/jIYAP4PaSSI.
- Abstract（参考訳）: 検索強化世代(RAG)と文書更新システムの品質評価は,スケーラブルでユーザ中心,多目的評価ツールが欠如しているため,依然として困難である。
我々は、構造化された人間とLLMに基づくフィードバックを用いて、検索パイプライン、リランカー、RAGシステムの性能を比較し、分析する統合プラットフォームである RankArenaを導入し、そのようなフィードバックを収集する。
RankArenaは、複数の評価モードをサポートしている: 直接的再分類、人またはLLM投票との盲点対比較、手動文書アノテーションの監督、エンドツーエンドのRAG回答品質評価。
ペアワイズな好みとフルリストのアノテーションと、ムーブメントメトリクス、アノテーションタイム、品質評価などの補助メタデータを通じて、詳細な関連性フィードバックをキャプチャする。
また、LLM-as-a-judge評価を統合し、モデル生成ランキングと人為的真実アノテーションの比較を可能にする。
すべてのインタラクションは構造化された評価データセットとして格納され、リランカー、報酬モデル、判断エージェント、検索戦略セレクタのトレーニングに使用することができる。
私たちのプラットフォームはhttps://rankarena.ngrok.io/で公開されており、デモビデオはhttps://youtu.be/jIYAP4PaSSIで公開されている。
関連論文リスト
- CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - RecRankerEval: A Flexible and Extensible Framework for Top-k LLM-based Recommendation [8.64897967325355]
RecRankerと呼ばれる最近のLarge Language Model(LLM)ベースのレコメンデーションモデルは、トップkレコメンデーションタスクにおいて優れたパフォーマンスを示している。
RecRankerの様々なコンポーネントの影響と役割について検討する。
論文 参考訳（メタデータ） (2025-07-08T11:04:17Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - From Rankings to Insights: Evaluation Should Shift Focus from Leaderboard to Feedback [36.68929551237421]
包括的できめ細かい結果を提供する評価フレームワークであるbftextFeedbackerを紹介します。
プロジェクトのホームページとデータセットはhttps://liudan193.io/Feedbacker.comで公開されています。
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - Socio-Emotional Response Generation: A Human Evaluation Protocol for LLM-Based Conversational Systems [9.101091541480434]
本稿では、応答生成の前に社会情緒戦略を計画する中間段階を含むニューラルアーキテクチャを提案する。
本研究は, 予測された戦略ラベルの列を予測し, このシーケンスを用いて応答を生成することにより, 直接的なエンドツーエンド生成方式よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2024-11-26T08:15:36Z) - CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。
CompassJudger-1は、優れた汎用性を示す汎用LLMである。
textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
論文 参考訳（メタデータ） (2024-10-21T17:56:51Z) - MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [22.50450558103786]
現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。
本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。
2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
論文 参考訳（メタデータ） (2024-08-30T07:57:30Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。
ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。
コードとデータセットをGithubで公開しています。
論文 参考訳（メタデータ） (2023-11-16T00:39:39Z) - Peering Through Preferences: Unraveling Feedback Acquisition for
Aligning Large Language Models [32.843361525236965]
スパースフィードバックが大規模言語モデルのアライメントと評価に与える影響を解析する。
評価やランク付けの好みは、人間とAIのアノテータの双方で60%と大きく異なっています。
本研究は,言語モデルの現実的有用性を評価する手法において,重要なギャップを浮き彫りにした。
論文 参考訳（メタデータ） (2023-08-30T07:35:32Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。