論文の概要: When Does Better Confidence Improve a Knowledge-Graph Audit?

• arxiv url: http://arxiv.org/abs/2611.05877v1
• Date: Wed, 04 Nov 2026 03:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.930657
• Title: When Does Better Confidence Improve a Knowledge-Graph Audit?
• Title（参考訳）: より良い信頼は知識グラフ監査を改善するのか?
• Abstract要約: 信頼度推定は、LCMで構築された知識グラフにおける人間のレビューを導くが、より良いエラー予測は監査においてほとんど改善しない。 本研究では,修復性,選択ヘッドルーム,ラベル有効性などを通じて,このギャップについて検討する。
• 参考スコア（独自算出の注目度）: 13.933945280129043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Confidence estimates guide human review in LLM-built knowledge graphs, but better error prediction can yield little improvement in an audit. We study this gap through repairability, selection headroom and label validity. Modelling non-adaptive auditing as budgeted covering, we characterise the minimal decision-relevant error statistics and bound the regret of scalar-preserving first-order planning by a structural mass $Δ^{\mathrm{cl}}$. We simulate ideal repair against benchmark-aligned labels for five extraction configurations and two cross-document graphs on Re-DocRED, followed by frozen confirmation on test and replication on 500 hash-selected training documents. On the held-out cross-document graphs, an error-rate $\times$ fan-out queue leaves 3.98-4.74 percentage points more errors than a joint model with the same actions. By comparison, opening shared actions for that joint planner reduces residual errors by 0.89-1.43 points relative to its own fact-only plans, in point estimates. Equivalence between joint and independent-block models remains inconclusive. Generic LLM verification improves three of four model-budget configurations on each held-out set. LLM adjudication identifies possible benchmark omissions.
• Abstract（参考訳）: 信頼度推定は、LCMで構築された知識グラフにおける人間のレビューを導くが、より良いエラー予測は監査においてほとんど改善しない。 本研究では,修復性,選択ヘッドルーム,ラベル有効性などを通じて,このギャップについて検討する。 非適応監査を予算化としてモデル化し、最小決定関連誤差統計を特徴付けるとともに、構造質量$Δ^{\mathrm{cl}}$によるスカラー保存一階計画の残余を限定する。 Re-DocRED上の5つの抽出設定と2つのクロスドキュメントグラフに対するベンチマークアラインラベルに対する理想的な修復をシミュレートし、その後500のハッシュ選択されたトレーニング文書に対するテストと複製の凍結確認を行った。 保持されたクロスドキュメントグラフでは、エラーレート$\times$ fan-outキューは、3.98-4.74パーセントのエラーを同じアクションを持つジョイントモデルよりも多く残す。 比較して、共同プランナーの共有動作のオープンは、その点推定において、その事実のみの計画と比較して残差を0.89-1.43ポイント削減する。 連立ブロックモデルと独立ブロックモデルとの等価性は依然として決定的ではない。 ジェネリックLSM検証は、保持セットごとに4つのモデル予算構成のうち3つを改善する。 LLMの判断は、可能性のあるベンチマークの欠落を特定する。

関連論文リスト

• Is Your LLM Relay Serving What It Claims? A low-cost and high-power test for LLM Relay Auditing [5.339059407340833]
  RelayとResellerのAPIは、大きな言語モデル(LLM)にアクセスする一般的な方法になっている。 本稿では,疑似および信頼された参照エンドポイントからのテキスト応答のみを必要とする統計手法である分散指紋検査(DFA)を提案する。 DFAは5つのプローブと250のリレー要求を格納された基準指紋で使用して,5ドルという名目で高い検出率を達成することを示す。
  論文  参考訳（メタデータ） (2026-10-27T11:49:21Z)
• Repairing LLM-Generated Specifications with Deterministic Diagnosis [48.79311600023815]
  大型言語モデル (LLM) はフォーミュラライザとしてますます使われている。 LLMは、シンボリック・ソルバが解決できる形式的な仕様を作成し、その仕様に対して保証する。 多くの仕様は実行可能であるが、意味的に間違っている。誤った制約、ドメイン、目的、述語、目標を符号化する。 DRAGOは、この未解決の批判を決定論的、フォーマリズム固有の診断に置き換える修復フレームワークである。
  論文  参考訳（メタデータ） (2026-10-15T19:12:54Z)
• Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence [5.331469232678577]
  信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
  論文  参考訳（メタデータ） (2026-10-15T16:12:29Z)
• JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
  繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。 本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
  論文  参考訳（メタデータ） (2026-10-14T04:59:45Z)
• Maestro Order: A Model-Agnostic Orchestration Harness [0.5414847001704247]
  本稿では、信頼できない解法を信頼性の高い問題解決システムに変換するモデルに依存しないオーケストレーションハーネスを提案する。 アーキテクチャ、メッセージおよび状態スキーマ、コントローラアルゴリズム、そして決定論的で観測可能でフォールトトレラントなエンジニアリングを提供します。 パラメータ化ソルバ/検証器モデル上でのハーネスの忠実なモンテカルロシミュレーションの結果を報告する。
  論文  参考訳（メタデータ） (2026-06-22T22:21:59Z)
• What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
  ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
  論文  参考訳（メタデータ） (2025-10-23T05:48:40Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。