論文の概要: When Does Better Confidence Improve a Knowledge-Graph Audit?
- arxiv url: http://arxiv.org/abs/2611.05877v2
- Date: Sun, 08 Nov 2026 02:57:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:17:47.237022
- Title: When Does Better Confidence Improve a Knowledge-Graph Audit?
- Title(参考訳): より良い信頼は知識グラフ監査を改善するのか?
- Abstract要約: 不正な共有エンティティが予算監査にどのように影響するかを,選択ヘッドルームとラベルの妥当性とともに検討する。
Re-DocRED上の5つの抽出構成と2つのクロスドキュメントグラフに対するベンチマークアラインラベルに対する理想的な修復をシミュレートする。
300のDWIEトレーニング文書では、独立および共同計画もポイント推定でファンアウトを上回っている。
- 参考スコア(独自算出の注目度): 22.672957142366002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Confidence estimates guide human review in LLM-built knowledge graphs, but an erroneous shared entity need not be the only reason an incident fact is wrong. We study how this distinction affects budgeted audits, alongside selection headroom and label validity. Modelling non-adaptive auditing as budgeted covering, we characterise the minimal decision-relevant error statistics and bound the regret of scalar-preserving first-order planning by a structural mass $Δ^{\mathrm{cl}}$. We simulate ideal repair against benchmark-aligned labels for five extraction configurations and two cross-document graphs on Re-DocRED, followed by frozen confirmation on test and replication on 500 hash-selected training documents. An error-rate $\times$ fan-out baseline leaves 3.98-4.74 percentage points more errors than joint planning with the same actions. Independent-block planning also avoids this disadvantage: its held-out point estimates improve on a fact-only scalar baseline by 1.22-1.79 points and are slightly better than the joint model, although the frozen equivalence criterion remains inconclusive. On 300 DWIE training documents, independent and joint plans also outperform fan-out in point estimates, with extractor-dependent gains over fact-only review. For verification, a generic support check improves three of four model-budget configurations on each held-out set. These comparisons motivate evaluating complete-repair probabilities and retaining both fact-only and factorised baselines when choosing an audit model.
- Abstract(参考訳): 信頼推定は、LCMが構築した知識グラフにおける人間のレビューを導くが、誤った共有エンティティがインシデント事実が間違っている唯一の理由である必要はない。
我々は,この区別が,選別ヘッドルームとラベルの妥当性とともに,予算付監査にどのように影響するかを検討する。
非適応監査を予算化としてモデル化し、最小決定関連誤差統計を特徴付けるとともに、構造質量$Δ^{\mathrm{cl}}$によるスカラー保存一階計画の残余を限定する。
Re-DocRED上の5つの抽出設定と2つのクロスドキュメントグラフに対するベンチマークアラインラベルに対する理想的な修復をシミュレートし、その後500のハッシュ選択されたトレーニング文書に対するテストと複製の凍結確認を行った。
エラーレート$\times$ fan-outベースラインは、3.98-4.74パーセントが同じアクションで共同計画するよりもエラーが多い。
独立ブロック計画はまた、この欠点を回避している: その保留点推定はファクトのみのスカラーベースラインを1.22-1.79ポイント改善し、ジョイントモデルよりもわずかに良いが、凍結等価基準は決定的ではない。
300のDWIEトレーニング文書では、独立した計画と共同計画がファンアウトのポイント推定を上回っており、事実のみのレビューよりも抽出者に依存している。
検証のために、ジェネリックサポートチェックは、各保留セットの4つのモデル予算構成のうち3つを改善する。
これらの比較は、監査モデルを選択する際に、完全修復確率を評価し、事実のみと要因化されたベースラインを維持する動機付けとなる。
関連論文リスト
- Is Your LLM Relay Serving What It Claims? A low-cost and high-power test for LLM Relay Auditing [5.339059407340833]
RelayとResellerのAPIは、大きな言語モデル(LLM)にアクセスする一般的な方法になっている。
本稿では,疑似および信頼された参照エンドポイントからのテキスト応答のみを必要とする統計手法である分散指紋検査(DFA)を提案する。
DFAは5つのプローブと250のリレー要求を格納された基準指紋で使用して,5ドルという名目で高い検出率を達成することを示す。
論文 参考訳(メタデータ) (2026-10-27T11:49:21Z) - Repairing LLM-Generated Specifications with Deterministic Diagnosis [48.79311600023815]
大型言語モデル (LLM) はフォーミュラライザとしてますます使われている。
LLMは、シンボリック・ソルバが解決できる形式的な仕様を作成し、その仕様に対して保証する。
多くの仕様は実行可能であるが、意味的に間違っている。誤った制約、ドメイン、目的、述語、目標を符号化する。
DRAGOは、この未解決の批判を決定論的、フォーマリズム固有の診断に置き換える修復フレームワークである。
論文 参考訳(メタデータ) (2026-10-15T19:12:54Z) - Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence [5.331469232678577]
信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。
RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
論文 参考訳(メタデータ) (2026-10-15T16:12:29Z) - JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。
本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
論文 参考訳(メタデータ) (2026-10-14T04:59:45Z) - Maestro Order: A Model-Agnostic Orchestration Harness [0.5414847001704247]
本稿では、信頼できない解法を信頼性の高い問題解決システムに変換するモデルに依存しないオーケストレーションハーネスを提案する。
アーキテクチャ、メッセージおよび状態スキーマ、コントローラアルゴリズム、そして決定論的で観測可能でフォールトトレラントなエンジニアリングを提供します。
パラメータ化ソルバ/検証器モデル上でのハーネスの忠実なモンテカルロシミュレーションの結果を報告する。
論文 参考訳(メタデータ) (2026-06-22T22:21:59Z) - What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。
我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。
その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
論文 参考訳(メタデータ) (2025-10-23T05:48:40Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。
これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
論文 参考訳(メタデータ) (2024-12-09T13:05:43Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。