論文の概要: The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
- arxiv url: http://arxiv.org/abs/2609.24885v1
- Date: Mon, 21 Sep 2026 16:53:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.420376
- Title: The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
- Title(参考訳): Copy Ceiling: 硬化コーパスを用いたオントロジー生成のための入力露光制御
- Abstract要約: 言語モデルがグラフベースの検索を通じてキュレートされたコーパスから応答すると、大きな起伏が検索された構造に対する推論を確立しない。
本報告では,各ゴールドアイテムを,表示されたコンテキストが公開するかどうか,回答が回復するか否かで分類する露出会計を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model answers from a curated corpus via graph-based retrieval, a large grounding uplift does not establish reasoning over the retrieved structure: the context may already expose the gold answers. We propose exposure accounting, which classifies each gold item by whether the shown context exposes it and whether the answer recovers it. Its scalar reference is the copy ceiling, the recall a verbatim copy of the context achieves; signed gain over copy measures the model's recall relative to this deterministic, judge-free baseline. Across ten models, unaided recall averages 0.26 and grounded recall 0.92, yet gain over copy is uniformly negative (-0.067 to -0.022). Of 11,360 gold-item observations, representing 1,136 target instances evaluated under ten models, only three unexposed items receive lexical credit. A stratified model-judged audit of 423 observations, with a symmetric quotation-verification policy, estimates that 97.1% of credited items assert the requested relation; all three unexposed credits fail relational adjudication. On targets the scaffold does not expose, lexical recovery falls from 0.121 unaided to 0.004 grounded; adjudication validates 71 of the 92 unaided credits and none of the three grounded credits, without establishing full-frame relational recovery rates. Rephrasing questions outside the graph's title vocabulary reduces exposure from 0.964 to 0.328, while an absence-triggered fallback activates on only 2 of 506 questions. A paired production study improves judged quality by +0.27 pooled, but negative controls do not establish content specificity beyond a well-formed on-corpus block. These results support exposure accounting as a standing control for corpus-derived evaluations. The accounting distinguishes exposed-item omissions from beyond-exposure recoveries; it does not determine whether reasoning occurred.
- Abstract(参考訳): 言語モデルがグラフベースの検索を通じてキュレートされたコーパスから回答した場合、大きな起伏は、検索された構造に対する推論を確立しない。
本報告では,各ゴールドアイテムを,表示されたコンテキストが公開するかどうか,回答が回復するか否かで分類する露出会計を提案する。
そのスカラー参照はコピー天井であり、リコールはコンテキストの冗長なコピーが達成する;署名付きゲインは、この決定論的で判断自由なベースラインに対してモデルのリコールを測定する。
10モデルにわたって、リコール平均は0.26、リコール平均は0.92であるが、コピー以上の利得は均一に負である(-0.067から-0.022)。
11360個の金鉱観測のうち、10つのモデルで評価された1,136個のターゲットインスタンスを表すが、3つの未露出アイテムだけが語彙的クレジットを受け取っている。
対称的な引用検証ポリシを備えた423の観測の階層化されたモデル判断監査では、認定項目の97.1%が要求された関係を主張しており、これら3つの未公表クレジットは関係の判断に失敗していると推定されている。
足場が露出していない場合、語彙回復率は0.121から0.004に低下し、偏見は92のクレジットのうち71と3つのクレジットのうち71を、フルフレームのリレーショナルリカバリレートを確立することなく検証する。
グラフのタイトルボキャブラリの外側で質問を言い換えると、0.964から0.328への露出が減少し、未学習のフォールバックは506問中2問しか有効にしない。
ペア生産研究では、判定された品質を+0.27プールで改善するが、負の制御は、十分に形成されたオンコーパスブロックを超えてコンテンツ特異性を確立しない。
これらの結果は、コーパスによる評価のための立位制御として、露出会計をサポートする。
アカウンティングは露光イットムの欠落と露光外の回復を区別するが、推論が生じたかどうかを判断するものではない。
関連論文リスト
- CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。
IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
論文 参考訳(メタデータ) (2026-09-09T06:08:02Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳(メタデータ) (2026-09-02T20:36:45Z) - The Exclusion Ratchet: False-Positive Suppression Accumulates and Persists in Detection Rule Repositories [0.0]
ルールがあまりにも多くの誤報を発生させた場合、アナリストは除外を加える。
近年の縦断作業では、キュレーションは収束しないが、後に回復したリビジョンのためにのみ回復時間を計測した。
9年と8,234回のSigmaHQ corpusの改訂を行い、意味論的に抑制を検出し、ブラインドハンドラベリングに対して検証した。
論文 参考訳(メタデータ) (2026-08-31T16:40:24Z) - Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。
深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
論文 参考訳(メタデータ) (2026-08-23T09:04:59Z) - Phantom Gains: Auditing Self-Improvement Against a Measured Null [10.74609430659738]
我々は、Qwen3-8Bで32ドル(約2万2000円)のLoRA自己訓練を行い、同じパイプラインを通り抜ける凍結制御を行った。
我々は7つの測定失敗を識別し、それぞれが、その制御が欠如しているときに報告された発見を逆転させる。
論文 参考訳(メタデータ) (2026-08-20T17:30:14Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳(メタデータ) (2026-07-19T22:27:00Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。