論文の概要: RAIM: Robust Aggregation of Inexpensive Models for Hallucination Detection

• arxiv url: http://arxiv.org/abs/2609.39229v1
• Date: Wed, 30 Sep 2026 08:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.422297
• Title: RAIM: Robust Aggregation of Inexpensive Models for Hallucination Detection
• Title（参考訳）: RAIM:幻覚検出のための実験モデルのロバスト集約
• Abstract要約: 我々は、安価なオープンウェイトな審査員のパネルが、フロンティアに立つために集約できるかどうか検討する。 我々は、RAIMを8つの忠実度ベンチマークで、不同家族から10人の審査員でインスタンス化する。
• 参考スコア（独自算出の注目度）: 2.4493299476776778
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic evaluation of faithfulness increasingly relies on a large language model acting as a judge, yet the most reliable judges are proprietary frontier models, costly and ill-suited to high-throughput monitoring. We investigate whether a panel of cheap open-weight judges (4--9B) can be aggregated to stand in for a frontier one, what the substitution sacrifices, and when it is worth making. We propose RAIM, an aggregation scheme robust to the members' correlated errors, coupling a cross-fitted stacked logistic regression with an admissibility test that, read from the members' own outputs, identifies when aggregating them improves on their best member and stays within reach of the frontier judge. We instantiate RAIM with ten judges from disjoint families across eight faithfulness benchmarks. Against Claude Sonnet, the panel retains a median 93% of its Cohen's $κ$ and gives up only 2.9 points of balanced accuracy on average; read as paired differences, it clearly improves on one benchmark and clearly worsens on three (only two by a non-negligible margin), leaving four unresolved. At a sixty-fourth of the frontier's inference price, the operative expense is a one-time in-domain calibration on 50--100 labelled records. The panel is also competitive with purpose-trained detectors on their home benchmarks (within 1.3 accuracy points of GPT-4o and 1.9 of the LLM-AggreFact leader), and beats the strongest one we reran by 6 points on our grounded sets. Whether aggregation pays depends on the members themselves: where several capable members err on different items, the panel improves on its best judge and approaches the frontier; where one dominates, the stacker recovers the leader, and only there does the frontier remain materially ahead. Both conditions are read off the calibration set at no further cost, so a cheap panel can stand in for a frontier one wherever this audit admits it.
• Abstract（参考訳）: 信頼度の自動評価は、裁判官として機能する大きな言語モデルにますます依存しているが、最も信頼できる裁判官はプロプライエタリなフロンティアモデルであり、高スループット監視には高価で不適である。 安価なオープンウェイト・ジャッジ(4-9B)のパネルが、フロンティア・ジャッジ(フロンティア・ジャッジ(フロンティア・ジャッジ)のために組み立てられるか、代替が犠牲になるか、いつ作る価値があるかを検討する。 本稿では,メンバーの相関誤差に頑健な集約手法であるRAIMを提案する。これは,クロスフィットされた積み重ねロジスティック回帰と許容性テストとを結合し,メンバーのアウトプットから読み出し,そのアグリゲーションが最良メンバーに改善され,フロンティア判事のリーチ内に留まるかどうかを識別する。 我々は、RAIMを8つの忠実度ベンチマークで、不同家族から10人の審査員でインスタンス化する。 クロード・ソネットに対して、パネルはコーエンのκ$の中央値の93%を保持し、平均で2.9ポイントのバランスの取れた精度しか与えない。 フェデラーの推論価格の64分の1で、手術費用は50-100ラベル付きレコードの1回のドメイン内キャリブレーションである。 パネルはまた、ホームベンチマーク(LCM-AggreFactのリーダーであるGPT-4oの1.3の精度ポイントと1.9の精度ポイントを含む)の目的に訓練された検出器と競合し、地上の6点差で最強の検出器を打ち負かしている。 いくつかの有能なメンバーが異なる項目に精通している場合、パネルは最良の判断を改善し、フロンティアに接近する。 どちらの条件も余分なコストで校正セットを読み取ることができるので、この監査が認める限り、安価なパネルをフロンティアに設置することができる。

関連論文リスト

• AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling [3.2665457005470504]
  LLM審査員はエージェントツール呼び出しシステムの評価に広く用いられているが、構造化された依存性駆動システムに対する信頼性はほとんど検討されていない。 本稿では,MLM-as-a-judge信頼性をワークフローDAG上でのエージェントツール呼び出しに対して体系的に研究する最初のベンチマークであるAgentJudgeBenchを提案する。
  論文  参考訳（メタデータ） (2026-08-27T05:20:22Z)
• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness [1.9036571490366498]
  6つの公的な事実検証ベンチマーク上で,同質な3エージェントパネルの評価を行った。 固定された単一エージェント参照に対して、システムレベルの精度差は、+8.5$から$4.4$パーセンテージポイントまで様々である。
  論文  参考訳（メタデータ） (2026-07-31T19:40:15Z)
• English Word Sense Disambiguation in 2026: When the Labels Become the Bottleneck [0.5621251909851629]
  我々は、Maru2022のALL_NEWベンチマークの補正層として構築されたWSD評価ベンチマークであるlexENをリリースする。 レキセン-v1では、フロンティアのLSMは95%近く(ベスト、95.6%)収束し、上位3つの家系は統計的に区別できない。 修復されたラベルをトレーニングした298MのバイエンコーダであるGlite LENSとラバー付きコーパスをリリースする。
  論文  参考訳（メタデータ） (2026-07-19T23:24:30Z)
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
  実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
  論文  参考訳（メタデータ） (2026-06-17T19:37:13Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。