論文の概要: Beyond Accuracy: Measuring Logical Compliance of Predictive Models
- arxiv url: http://arxiv.org/abs/2606.20208v1
- Date: Thu, 18 Jun 2026 13:21:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.873936
- Title: Beyond Accuracy: Measuring Logical Compliance of Predictive Models
- Title（参考訳）: 正確性を超えて - 予測モデルの論理的コンプライアンスを測定する
- Authors: Guillaume Olivier Delplanque, Pierre Genevès, Nabil Layaïda, Zephirin Faure,
- Abstract要約: ルール・ヴァイオレーション・スコア(英: Rule Violation Score, RVS)は、予測モデルが与えられた論理ルールの集合を尊重する程度を定量化する補完的な評価指標である。
知識グラフリンク予測とリレーショナル回帰の3つのベンチマークでRVSを評価した。
以上の結果から,予測精度に匹敵する2つのモデルでは,論理的コンプライアンスのレベルが著しく異なることが示唆された。
- 参考スコア（独自算出の注目度）: 2.963223599781967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are predominantly evaluated through predictive performance metrics such as ranking quality, prediction error, or classification accuracy. While these metrics effectively quantify how closely predictions match the ground truth, they do not assess whether model outputs respect predefined logical or domain-specific constraints. In high-stakes applications, including healthcare, finance, and autonomous systems, logical consistency can be as critical as predictive accuracy, yet no standard metric captures this dimension. We introduce the Rule Violation Score (RVS), a complementary evaluation metric that quantifies the extent to which a predictive model respects a given set of logical rules, independently of predictive accuracy. RVS treats hard rules (strict constraints) and soft rules (statistical regularities) differently, can be evaluated on any dataset and on any predictive model expressed over a relational vocabulary, and can be computed using SQL queries that are automatically generated for Horn rules. Beyond evaluating models, RVS can also evaluate the logical consistency of training datasets and help identify poorly defined rules. We evaluate RVS on three benchmarks covering knowledge graph link prediction and relational regression, including rule-based, embedding-based, and neuro-symbolic predictive models. Our results demonstrate that two models achieving comparable predictive accuracy can exhibit substantially different levels of logical compliance, revealing differences in model behavior that standard metrics fail to capture.
- Abstract（参考訳）: 機械学習モデルは、ランキング品質、予測誤差、分類精度などの予測パフォーマンス指標によって主に評価される。
これらの指標は、モデル出力が事前定義された論理的制約やドメイン固有の制約を尊重するかどうかを評価していない。
医療、金融、自律システムを含む高度なアプリケーションでは、論理的一貫性は予測精度と同じくらいに重要であるが、この次元を捉える標準的な計量は存在しない。
本稿では,予測モデルが与えられた論理規則の集合を尊重する程度を,予測精度とは独立に定量化する相補的評価指標であるルール違反スコア(RVS)を紹介する。
RVSはハードルール(制約)とソフトルール(統計規則)を別々に扱い、あらゆるデータセットやリレーショナルボキャブラリ上で表現される予測モデルで評価することができ、Hornルールのために自動的に生成されるSQLクエリを使用して計算することができる。
モデルの評価以外にも、トレーニングデータセットの論理的一貫性の評価や、未定義のルールの特定にも役立てることができる。
我々は、ルールベース、埋め込みベース、ニューロシンボリック予測モデルを含む知識グラフリンク予測と関係回帰の3つのベンチマークでRVSを評価した。
以上の結果から,予測精度に匹敵する2つのモデルでは論理的コンプライアンスのレベルが著しく異なることが示され,標準指標が捉えられないモデル挙動の違いが明らかとなった。
関連論文リスト
- Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。
本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。
本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文 参考訳（メタデータ） (2026-05-29T03:52:44Z) - First-Order Efficiency for Probabilistic Value Estimation via A Statistical Viewpoint [18.696678371045216]
本稿では,サンプリング法則を直接選択し,第1次MSEを最小化する効率性を考慮したサロゲート調整型推定器(EASE)を提案する。
我々は、EASEが様々な確率値に対して常に最先端の推定値を上回ることを実証する。
論文 参考訳（メタデータ） (2026-05-04T17:02:17Z) - A Theoretical Framework for Statistical Evaluability of Generative Models [57.9316356505791]
本稿では、生成モデルを評価するための理論的枠組みを導入し、一般的なメトリクスに対する評価結果を確立する。
テストベースのメトリクス、例えば積分確率測定(IPM)とレニイ発散(Rényi divergences)の2つのカテゴリについて検討する。
任意の有界テストクラスに対するIPMは、乗法および加法近似誤差まで有限標本から評価できることを示す。
対照的に、レニイとKLの発散は、希少事象によってその値が批判的に決定されるため、有限標本から評価できない。
論文 参考訳（メタデータ） (2026-04-07T01:53:59Z) - Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition [0.876171257490837]
モデル説明の整合性を評価するための新しい指標を提案する。
我々は,SST-2感情分析データセット上で,事前学習したBERTモデルを用いて,この指標を実装した。
モデル説明における誤一致予測と矛盾を識別する能力を評価する。
論文 参考訳（メタデータ） (2026-04-06T06:05:21Z) - What Do Learned Models Measure? [0.0]
多くの科学的およびデータ駆動の応用において、機械学習モデルは計測機器としてますます使われている。
一般化誤差,キャリブレーション,ロバスト性などの機械学習の標準評価基準は,測定安定性を保証していないことを示す。
論文 参考訳（メタデータ） (2026-01-26T09:00:48Z) - Confidence and Dispersity as Signals: Unsupervised Model Evaluation and Ranking [46.95596181965493]
本稿では,教師なしモデル評価とランキングのための統一的で実用的なフレームワークを提案する。
ハイブリッドメトリクスは、データセット中心およびモデル中心の評価設定の両方において、単一アスペクトメトリクスを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2025-10-03T12:48:11Z) - Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。
実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。
合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-09-30T17:52:12Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Rigorous Assessment of Model Inference Accuracy using Language
Cardinality [5.584832154027001]
我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。
我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
論文 参考訳（メタデータ） (2022-11-29T21:03:26Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳（メタデータ） (2020-06-02T16:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。