論文の概要: The RAT: A Unified Bayesian Model for RAG Evaluation

• arxiv url: http://arxiv.org/abs/2608.24753v1
• Date: Tue, 25 Aug 2026 15:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.087588
• Title: The RAT: A Unified Bayesian Model for RAG Evaluation
• Title（参考訳）: RAT:RAG評価のための統一ベイズモデル
• Abstract要約: 本稿では,検索成功,棄却行動,回答正当性を共同でモデル化するベイズ評価フレームワークを提案する。 フレームワークを3つのデータセット、3つのレトリバー、3つのジェネレータにわたる27のRAG構成に適用する。 我々は、LLM-as-a-judgeアノテーションをキャリブレーションされたノイズ観測として組み込むようモデルを拡張した。
• 参考スコア（独自算出の注目度）: 8.650407684623714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating Retrieval-Augmented Generation (RAG) systems requires assessing not only end-to-end correctness but also how individual components interact and how errors propagate through the pipeline. We introduce a Bayesian evaluation framework that jointly models retrieval success, abstention behavior, and answer correctness, factorized according to the pipeline's information flow. The model distinguishes task success. Whether the user received a correct answer (from generator success) and whether the generator behaved appropriately given the retrieval outcome. We apply the framework to 27 RAG configurations across three datasets, three retrievers, and three generators, and show that the conditional decomposition reveals substantial behavioral differences between systems that appear equivalent under marginal metrics. We further analyze the annotation allocation problem, demonstrating that retrieval-success annotations are more informative than task-success annotations for estimating policy adherence, and provide an information-theoretic explanation for this asymmetry. Finally, we extend the model to incorporate LLM-as-a-judge annotations as calibrated noisy observations, enabling practitioners to combine limited human judgments with cheaper automated assessments within a unified probabilistic model.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)システムを評価するには、エンドツーエンドの正確性だけでなく、個々のコンポーネントがどのように相互作用し、どのようにエラーがパイプラインを通して伝播するかを評価する必要がある。 本稿では,パイプラインの情報フローに応じて分解された検索成功,棄却行動,回答正しさを共同でモデル化するベイズ評価フレームワークを提案する。 モデルはタスクの成功を区別します。 ユーザが正しい回答を受け取ったか(ジェネレータの成功から)、そして、検索結果が適切に振る舞ったか。 このフレームワークを,3つのデータセット,3つのレトリバー,3つのジェネレータにまたがる27のRAG構成に適用し,条件分解により,限界値の下で等価に見えるシステム間での挙動の相当な差異が明らかになることを示す。 我々はさらに、アノテーション割り当て問題を分析し、ポリシー順守を推定するためのタスク順守アノテーションよりも、検索順守アノテーションの方が有益であることを証明し、この非対称性に対する情報論的説明を提供する。 最後に,LLM-as-a-judgeアノテーションを校正ノイズとして組み込むようにモデルを拡張し,限定的な人的判断とより安価な自動評価を統一確率モデルに組み込むことを可能にした。

関連論文リスト

• Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
  既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
  論文  参考訳（メタデータ） (2026-08-10T14:42:10Z)
• Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
  我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。 We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。 これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
  論文  参考訳（メタデータ） (2026-06-25T18:52:24Z)
• SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
  本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。 このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-30T19:33:58Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• EvolvR: Self-Evolving Pairwise Reasoning for Story Evaluation to Enhance Generation [17.37840331449749]
  本稿では,ストーリー評価のための自己進化的ペアワイズ推論(EvolvR)フレームワークを提案する。 フレームワークはまず、マルチペルソナ戦略を通じてスコア整合型Chain-of-Thought(CoT)データを自己合成する。 精巧なデータに基づいて訓練された評価器を報奨モデルとして展開し、ストーリー生成タスクを誘導する。
  論文  参考訳（メタデータ） (2025-08-08T06:10:47Z)
• Decomposed Reasoning with Reinforcement Learning for Relevance Assessment in UGC Platforms [30.51899823655511]
  Retrieval-augmented Generation (RAG)は、ユーザ生成コンテンツプラットフォームにおいて重要な役割を果たす。 1)RAGシナリオにおけるユーザフィードバックの少なさによる曖昧なユーザ意図,2)非公式言語や非構造化言語によって導入された相当なノイズ。
  論文  参考訳（メタデータ） (2025-08-04T15:14:09Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• AIC CTU system at AVeriTeC: Re-framing automated fact-checking as a simple RAG task [0.0]
  本稿では、簡易な検索・拡張生成法(RAG)を用いて、野生で回収された証拠を用いた事実確認の課題に対する解決法について述べる。 我々は、その2つのモジュール、Retriever と Evidence & Label ジェネレータを詳細に説明し、MMR-re rank や Likert-scale confidence estimation などの特徴を正当化します。 我々は、予測の欠陥がデータ内のノイズや曖昧な事実チェックとよく一致し、さらなる研究とデータの増大を引き起こすことを実証的エラー解析により確認する。
  論文  参考訳（メタデータ） (2024-10-15T09:50:19Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing [72.4445825335561]
  任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。 ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。 提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。