Fugu-MT 論文翻訳(概要): A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test

論文の概要: A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test

arxiv url: http://arxiv.org/abs/2605.27789v1
Date: Wed, 27 May 2026 00:12:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-28 17:38:55.619125
Title: A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test
Title（参考訳）: LLM-as-a-Judge評価のための固定予算クラスタ対応標準:マルチホップRAG応力試験
Authors: Camilo Chacón Sartori, José H. García,
Abstract要約: RAGにおけるLCM-as-a-judge比較の最小基準を提案する。標準ではトップ100候補プール、エビデンス予算、回答上限、ジェネレータ、プロンプトが修正されている。また、事前登録された仮説、クラスタ認識推論、実行可能時の正確なクラスタサイン-フリップチェック、第2ジャッジレプリケーションも必要である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-augmented generation (RAG) systems are often compared by asking a large language model (LLM) judge which answer is better. For multi-hop RAG, this has become a measurement problem as much as a modeling problem: the same score can reflect retrieval quality, answer length, lexical overlap, or a statistical test that ignores clustered data. We ask what happens when these choices are made explicit. We propose a minimum measurement standard for LLM-as-a-judge comparisons in RAG. The standard fixes the top-100 candidate pool, evidence budget, answer cap, generator, and prompt; it also requires pre-registered hypotheses, cluster-aware inference, an exact cluster sign-flip check when feasible, and second-judge replication. Clustered benchmarks can overstate progress; the field should adopt this standard. We stress-test it with Genetic Algorithm Decoder for Multi-hop Evidence Composition (GADMEC), an evolutionary evidence selector, on 400 multi-hop questions in computer science/machine learning (CS/ML) and Materials Science. The protocol changes the empirical story. A binomial test makes all four semantic-baseline comparisons look significant; cluster-aware inference leaves only one Bonferroni-significant result. BM25 beats pure semantic GADMEC under the same budget, while a lexical-semantic hybrid recovers in CS/ML and narrows the Materials Science gap.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムは、大きな言語モデル (LLM) の判断を問うことで比較されることが多い。マルチホップRAGでは、同じスコアが検索品質、回答長、語彙重なり合い、クラスタ化されたデータを無視する統計検査を反映することができる。これらの選択が明確になったらどうなるか、私たちは尋ねます。 RAGにおけるLCM-as-a-judge比較の最小基準を提案する。標準では、トップ100候補プール、エビデンス予算、応答キャップ、ジェネレータ、プロンプトが修正されている。クラスタ化されたベンチマークは進捗をオーバーステートすることができる。計算機科学/機械学習(CS/ML)と材料科学における400のマルチホップ質問に対して,進化的エビデンスセレクタであるGADMECの遺伝的アルゴリズムデコーダを用いてストレステストを行った。そのプロトコルは経験的な話を変えます。二項検定では4つのセマンティック・ベースラインの比較が重要視されるが、クラスタ・アウェアの推論ではボンフェロニの重要な結果が1つしか残っていない。 BM25は同じ予算で純粋なセマンティックGADMECを破り、レキシカル・セマンティックハイブリッドはCS/MLで回復し、マテリアルサイエンスのギャップを狭める。

関連論文リスト

From Residuals to Reasons: LLM-Guided Mechanism Inference from Tabular Data [10.795877029195845]
科学的応用のための機械学習における永続的な課題は、予測と理解を共同で達成することである。マルチエージェント残差文脈学習(MARICL)を導入する。 MARICLは、すべてのデータセットのベースモデルに対して一貫して改善されている。
論文参考訳（メタデータ） (2026-05-21T15:34:08Z)
Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
論文参考訳（メタデータ） (2026-03-25T22:20:25Z)
ABCD: All Biases Come Disguised [4.603755953026689]
MCQ(Multiple-choice Question)ベンチマークは標準的な評価手法である。本稿では,各質問のラベルを一様無順序ラベルに置き換える,単純なバイアス低減評価プロトコルを提案する。このプロトコルは、平均モデルの性能を最小限に抑えつつ、平均精度のばらつきを3倍に減らし、置換に答えるロバスト性を大幅に改善することを示す。
論文参考訳（メタデータ） (2026-02-19T15:12:33Z)
From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。 GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
論文参考訳（メタデータ） (2026-01-29T13:55:26Z)
DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。モデル応答の多様性を最大化するサンプルを選択することが重要となる。我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文参考訳（メタデータ） (2025-10-09T08:53:59Z)
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文参考訳（メタデータ） (2025-08-05T17:55:24Z)
ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
論文参考訳（メタデータ） (2024-10-18T16:11:29Z)
Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文参考訳（メタデータ） (2022-11-21T18:47:11Z)
Multiplex-detection Based Multiple Instance Learning Network for Whole Slide Image Classification [2.61155594652503]
マルチ・インスタンス・ラーニング(MIL)は、診断病理のためのスライド画像全体(WSI)を分類する強力な手法である。本稿では,上記の問題に対処するために,MDMIL(Multiple-detection-based multiple instance learning)を提案する。具体的には、MDMILは内部クエリ生成モジュール(IQGM)と多重検出モジュール(MDM)によって構成される。
論文参考訳（メタデータ） (2022-08-06T14:36:48Z)
Classifier Data Quality: A Geometric Complexity Based Method for Automated Baseline And Insights Generation [4.722075132982135]
主な課題は、モデルの精度や分類器のF1スコアなどの誤りのレベルが受け入れられるかどうかを決定することである。我々は、与えられた観測が真のクラスラベルに割り当てるのがいかに困難であるかを定量化する複雑性測定法を開発した。これらの尺度は、線形計算コストに対して、各観測の分類複雑性を説明可能な形で定量化するという点において、ベストプラクティスのベースラインよりも優れている。
論文参考訳（メタデータ） (2021-12-22T12:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。