論文の概要: Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2611.17161v1
- Date: Thu, 12 Nov 2026 17:39:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.573404
- Title: Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
- Title(参考訳): クイットだが未使用:検索・拡張世代におけるパラメトリックな出現
- Abstract要約: 検証可能なクレームの1.2%から15.7%は、取得したコンテキストではなく、パラメトリックメモリに由来する。
メモリから応答するモデルがその出力に一致する引用を選択する。
- 参考スコア(独自算出の注目度): 0.3670422696827525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation systems attach citations to attribute claims to their sources. These citations frequently misstate provenance, and standard verification cannot detect this. We measure provenance by counterfactual value substitution: a fact in the retrieved passages is replaced with a false variant and the model re-queried. We find that across five sizes of one model family and a second comparator family, 1.2% to 15.7% of citable claims derive from parametric memory rather than the retrieved context. At the most conservative substitution distance these figures are 4.6% and 8.5% on the two models we tested at it, with the rate rising with model size within a family. We further find that natural language inference verification, the standard approach, gives results indistinguishable from chance across models, even when restricted to the cited passage. We determine that the cause is structural: a model answering from memory selects a citation that agrees with its output. Comparing ten attribution methods on identical claims, the contrast between the model's distribution with and without context best separates provenance. Acting on that signal does not improve provenance honesty at these base rates. The resulting detector is hence still not accurate enough to act on: it measures what the model knew rather than what it used, and separating those remains the open problem.
- Abstract(参考訳): Retrieval-augmentedジェネレーションシステムは、ソースに対するクレームの属性に引用を付加する。
これらの引用はしばしば誤った状態の証明であり、標準的な検証では検出できない。
抽出されたパスの事実を偽の変種に置換し、モデルを再クエリする。
1つのモデルファミリーと2番目のコンパレータファミリーの5つのサイズにまたがって、検証可能なクレームの1.2%から15.7%は、取得したコンテキストではなくパラメトリックメモリに由来する。
最も保守的な置換距離では、これらの数字は、我々がテストした2つのモデルで4.6%と8.5%であり、家族内のモデルサイズで上昇する。
さらに、標準手法である自然言語推論検証は、引用された節に制限された場合でも、モデル間での確率と区別できない結果を与える。
メモリから応答するモデルがその出力に一致する引用を選択する。
同一の主張に対する10の帰属法と比較すると、モデルの分布と文脈を持たない場合のコントラストは証明を最もよく分離する。
この信号で行動しても、これらの基準レートでの証明の誠実さは向上しない。
そのため、結果として得られる検出器は、動作するのに十分な正確性を持っていない:それはモデルが使用したものよりも知っていることを計測し、それらを切り離すことが未解決の問題である。
関連論文リスト
- Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation [0.0]
フリーズされた"System One"モデルの新たなクラスは、テキストの代わりにタイプされ、キャリブレーションされた決定を1コールあたり0.000025、100ミリ秒で返します。
人間のラベル付きコメント142,658件に対して、そのようなモデルの最初の独立した監査を行い、それを14のフロンティア推論モデルと比較した。
インスツルメンテーション、キャッシュされた実行、そして分析をリリースします。
論文 参考訳(メタデータ) (2026-10-23T20:08:04Z) - Objects Without Morphisms: What LLMs for Mathematics Do Not Represent [27.64177147171874]
大規模言語モデル (LLM) は、競争数学のエキスパートレベルの性能に到達した。
周辺地域の方言間での文の翻訳という,外部基準が存在しない問題について検討する。
我々は、個別のブラインドキューで真実、内容、スコープを符号化する機器を導入する。
論文 参考訳(メタデータ) (2026-10-02T16:33:32Z) - A Calibrated Instrument for Measuring How Inference Optimizations Affect Output Quality [0.0]
大規模言語モデルの最適化は活発な研究領域であり、モデルの重みの量子化、層をスキップする早期排他法、投機的復号化にまたがる。
本稿では,クロスシステムおよびクロス技術比較に適した出力品質測定のための厳密な手法を提案する。
論文 参考訳(メタデータ) (2026-09-16T01:49:12Z) - TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis? [1.7077233340294056]
本稿では, 故障検出, 故障オリジンの局所化, 安全な停止を, 不十分な証拠で分離するベンチマークであるTelemetrySuffBenchを紹介する。
統一されたプロトコル、明示的な候補セット、無効なアウトプット会計、サブグループ分析、凍結したブラインドホールドアウトを用いて、5つのフロンティア言語モデルを評価する。
論文 参考訳(メタデータ) (2026-08-08T03:54:22Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳(メタデータ) (2026-06-09T16:14:27Z) - Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents [0.18762753243053634]
大規模言語モデル(LLM)は、数百のWebソースから情報を引用したレポートに合成するディープリサーチエージェントをパワーアップする。
現在のアプローチでは、信頼モデルが正確な自己引用、バイアスのリスク、あるいはソースアクセシビリティ、関連性、事実整合性を検証しない検索強化世代(RAG)を採用する。
本稿では,再現可能なASTルーブリックを用いてインライン引用を大規模に抽出し,評価する最初の情報源属性評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-07T17:46:45Z) - Are Finer Citations Always Better? Rethinking Granularity for Attributed Generation [75.27453112832093]
その結果, 微粒化は, 最も優れた粒度に比べて, 属性品質を16~276%低下させることがわかった。
分析の結果,詳細な(文レベルの)引用は,主張に答えるために証拠を帰属させるために必要な意味的依存関係を阻害することがわかった。
厳密には、引用-最適粒度は、回答の正しさを保ったり改善したりしながら、帰属品質を大幅に向上させる。
論文 参考訳(メタデータ) (2026-04-01T22:16:23Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳(メタデータ) (2024-04-04T02:31:05Z) - When Hearst Is not Enough: Improving Hypernymy Detection from Corpus
with Distributional Models [59.46552488974247]
本稿では,大きなテキストコーパスの助けを借りて,単語 (x, y) 間のis-a関係が存在するかどうかを論じる。
近年の研究では、大規模なハーストペアを抽出して給餌し、目に見えない(x, y)ペアの親和性が緩和された場合、パターンベースのペアの方が優れていることが示唆されている。
本稿では,これらの特定の事例の非無視的存在を初めて定量化し,その場合の分布法がパターンベースの事例を補うのに最適であることを示す。
論文 参考訳(メタデータ) (2020-10-10T08:34:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。