論文の概要: SAGE-QA: Semantic-Aware, Grounded Evaluation for Closed-Context Question Answering on SQuAD 2.0
- arxiv url: http://arxiv.org/abs/2611.16300v1
- Date: Thu, 12 Nov 2026 04:56:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.363104
- Title: SAGE-QA: Semantic-Aware, Grounded Evaluation for Closed-Context Question Answering on SQuAD 2.0
- Title(参考訳): SAGE-QA: SQuAD 2.0におけるクローズドコンテキスト質問応答の評価
- Abstract要約: SAGE-QAは、生成的な大規模言語モデルを評価するためのフレームワークである。
細調整されたオープンウェイトモデルは最高性能で、微調整されたLlama 3.3 70Bは前回で最もよく知られたEMを上回っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Closed-context question answering (QA) requires a system to generate an answer strictly supported by a supplied passage, or to abstain when the passage lacks adequate evidence. SQuAD 2.0 is a widely used benchmark for this setting, scored by Exact Match (EM) i.e., character-level agreement with human reference spans after lexical normalization. For generative large language models (LLMs), however, an EM failure may reflect a valid paraphrase or an alternative passage-supported answer rather than a hallucination. The best prior leaderboard EM is approximately 91%, but evaluating generative models requires separating lexical divergence from factual error. We introduce SAGE-QA (Semantic-Aware, Grounded Evaluation for Question Answering), a multi-tiered framework combining reference-based Semantic Equivalence Scoring (SES) and passage-based Re-Validation Scoring (RVS). On a fixed set of 10,000 SQuAD 2.0 validation examples, we compute EM and decision-matrix F1 from TP, TN, FP, and FN counts for zero-shot closed-weight frontier models and for open-weight models, untuned and fine-tuned. Zero-shot, Claude Opus 4.6 and Gemini 3.1 Pro reach 85.21 and 86.66 EM, outperforming untuned Llama 3 8B (56.88), gpt-oss-20b (66.28), and Llama 3.3 70B (71.39). Parameter-efficient fine-tuning adds 21.19 to 34.06 EM points, raising these models to 90.94, 87.47, and 94.24 EM, respectively. Auditing the frontier models with SAGE-QA and an external LLM judge yields dataset-wide SES scores of 92.81 for Claude Opus 4.6 and 91.67 for Gemini 3.1 Pro, and hybrid RVS scores, which combine benchmark credit with passage-based judge assessments, of 97.96 and 98.02. Fine-tuned open-weight models perform best, with fine-tuned Llama 3.3 70B surpassing the previous best known EM.
- Abstract(参考訳): クローズド・コンテクスト質問応答(QA)は、供給されたパスによって厳密に支持された応答を生成するシステムや、パスに十分な証拠が欠如している場合に棄権するシステムを必要とする。
SQuAD 2.0は、Exact Match(EM)、すなわち語彙正規化後の人間の参照スパンに対する文字レベルの合意によって、この設定のために広く使用されているベンチマークである。
しかし、生成的大言語モデル(LLMs)では、EM失敗は幻覚よりも有効な言い回しや代替の通過支援応答を反映する可能性がある。
最上位のリーダーボードEMは約91%であるが、生成モデルを評価するには、現実の誤りから語彙的発散を分離する必要がある。
SAGE-QA(Semantic-Aware, Grounded Evaluation for Question Answering)は,参照ベースのSemantic Equivalence Scoring(SES)とパスベースのRe-Validation Scoring(RVS)を組み合わせた多層フレームワークである。
1万のSQuAD 2.0検証例の固定セットでは、ゼロショットクローズドウェイトフロンティアモデルと未修正および微調整のオープンウェイトモデルに対して、TP、TN、FP、FNからEMと決定行列F1を計算する。
ゼロショットのClaude Opus 4.6とGemini 3.1 Proは85.21と86.66 EMに達し、未調整のLlama 3 8B (56.88)、gpt-oss-20b (66.28)、Llama 3.3 70B (71.39)を上回った。
パラメータ効率の良い微調整では21.19から34.06のEMポイントが追加され、それぞれ90.94、87.47、94.24のEMに引き上げられる。
SAGE-QA と外部 LLM の判定でフロンティアモデルを評価すると、クロードオプス 4.6 と Gemini 3.1 Pro の 91.67 のデータセットワイド SES スコアと、ベンチマーククレジットとパスベースの判断アセスメントを組み合わせたハイブリッド RVS スコアが97.96 と98.02 のデータセットワイド SES スコアが得られる。
細調整されたオープンウェイトモデルは最高性能で、微調整されたLlama 3.3 70Bは前回で最もよく知られたEMを上回っている。
関連論文リスト
- AgentAM: An AI Agent for Spatter- and Defect-Aware Process Optimization in Laser Powder Bed Fusion [11.478292682955669]
AgentAMは、CFDで訓練されたスパッタとメルトプール幾何学のサロゲートに、エンジニアが自然言語でアクセスできるような大きな言語モデルである。
エージェントは、予測、プロセスウィンドウスキャン、制約付き最適化のためのツールを選択し、パラメータ化する。
論文 参考訳(メタデータ) (2026-11-03T16:38:46Z) - Evidence-Inference Reconstruction: When The Evidence Is Recalled But The Reasoning Goes Wrong [46.421744167883986]
本稿では、構造化状態を用いて1つの検索軌跡を案内するEvidence-Inference Reconstruction (EIR)を紹介する。
EIRは、たとえ誤った証拠が混ざったとしても、単一の最終モデルコールで正しい答えを生成することができる。
また, エージェントSSRでは35.29, 反射では12.41に対して, EIRは平均4.85回, モデルコール数は35.29回であった。
論文 参考訳(メタデータ) (2026-09-27T17:20:41Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳(メタデータ) (2026-08-26T18:22:03Z) - The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。
パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
論文 参考訳(メタデータ) (2026-08-26T08:54:32Z) - Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。
10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。
LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
論文 参考訳(メタデータ) (2026-05-23T16:57:25Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳(メタデータ) (2026-04-20T00:57:31Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳(メタデータ) (2026-03-02T13:02:13Z) - ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。
ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。
我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
論文 参考訳(メタデータ) (2026-02-06T23:27:17Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳(メタデータ) (2025-11-27T07:20:52Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳(メタデータ) (2024-05-01T17:59:20Z) - The ReturnZero System for VoxCeleb Speaker Recognition Challenge 2022 [0.0]
RTZR VoxCeleb Speaker Recognition Challenge 2022 (VoxSRC-22) の上位候補について述べる。
最上位のシステムは7つのモデルの融合であり、3種類のモデルアーキテクチャを含んでいる。
最後の提出はVoxSRC22テストセットで0.165 DCFと2.912% EERを達成した。
論文 参考訳(メタデータ) (2022-09-21T06:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。