論文の概要: Reasoning Models Are Accurate but Unsound on Identification
- arxiv url: http://arxiv.org/abs/2610.03519v1
- Date: Fri, 02 Oct 2026 16:12:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.471302
- Title: Reasoning Models Are Accurate but Unsound on Identification
- Title（参考訳）: Reasoning Models are accurate but unsound on Identification
- Abstract要約: 観測データから因果効果が回復可能かどうかを問う推論モデルは2つの方法で失敗する可能性がある。
CERTIDは、両方の制限に対処する正式な識別パイプラインです。
CERTIDは、音と完全な因果同定アルゴリズムIDを使用して、ある効果が与えられたグラフとクエリから識別可能かどうかを認証する。
- 参考スコア（独自算出の注目度）: 29.12751904333385
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A reasoning model asked whether a causal effect is recoverable from observational data can fail in two ways: it refuses an identifiable query or answers a nonidentifiable one. The latter is more consequential, as no observational data can validate the claimed formula. Measuring this failure requires queries that are provably non-identifiable, which prior evaluations lack, and grading that accepts correct formulas in any equivalent form, which string matching cannot provide. We build CERTID, a formal identification pipeline that addresses both limitations. CERTID uses the sound and complete causal identification algorithm ID to certify whether an effect is identifiable from a given graph and query, and verifies returned formulas against structural causal models whose interventional distributions are known exactly. CERTID further develops theoretical results to mitigate structural leakage, repair non-identifiable queries, and establish grading guarantees. We evaluate three frontier reasoning models (Gemini Flash, Gemini Pro, and GPT5.5) on 1,200 certified instances spanning 4 to 50 vertices. Accuracy proves a poor proxy for soundness: on identical instances, the false-claim rate on non-identifiable queries varies by seventeen-fold across models. We also find that models decide identifiability with 97-100% accuracy on graphs generated after the strongest model's training snapshot. Instances, the certification procedure, the verifier, and per-instance records are available at https://anonymous.4open.science/r/certid-D718.
- Abstract（参考訳）: 因果効果が観測データから回復可能かどうかを問う推論モデルは、2つの方法で失敗する可能性がある。
後者は、観測データが要求された公式を検証できないため、より簡潔である。
この失敗を測定するには、事前評価に欠ける証明不可能なクエリと、文字列マッチングが提供できない任意の等価な形式で正しい式を受け入れるグレーディングが必要である。
CERTIDは、両方の制限に対処する正式な識別パイプラインです。
CERTIDは、音と完全な因果同定アルゴリズムIDを使用して、与えられたグラフとクエリから効果が識別可能かどうかを認証し、介入分布が正確に分かっている構造因果モデルに対して返却公式を検証する。
CERTIDは、構造的漏洩を軽減し、不特定クエリを修復し、グレーディング保証を確立する理論的結果をさらに発展させる。
我々は、4から50の頂点にまたがる1200の認定インスタンスに対して、3つのフロンティア推論モデル(Gemini Flash, Gemini Pro, GPT5.5)を評価した。
同一の場合、識別不可能なクエリに対する偽判定率は、モデル全体で17倍に変化する。
また、最強モデルのトレーニングスナップショット後に生成されたグラフに対して、97-100%の精度で識別可能性を決定する。
インスタンス、認証手順、検証子、インスタンスごとのレコードはhttps://anonymous.4open.science/r/certid-D718で入手できる。
関連論文リスト
- Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳（メタデータ） (2026-09-24T19:04:23Z) - TP-CRIV: A Framework for Third-Party Challenge-Response Identity Verification of AI Models [2.5494170736545034]
AIモデルのためのサードパーティのチャレンジ-レスポンスアイデンティティ検証(TP-CRIV)。
TP-CRIVは、検証者が請求者のモデルにホワイトボックスやAPIアクセスを持たず、サービスプロバイダからプロトコル固有の協力を必要としない、サードパーティの検証設定をターゲットにしている。
論文 参考訳（メタデータ） (2026-09-24T09:03:48Z) - Verifying formulas for interventional distributions [1.6355471507854134]
同定に対する健全で完全な解であっても、検証は解けないことを示す。
ファリシファイアを第1の実践経路として提案し、正規指数族モデルに対してほぼ確実に正しい検証を導くことを証明した。
得られた検証器をゲートウェイテストの開発に使用し、前ドア式で使用可能なすべての集合を検索する。
論文 参考訳（メタデータ） (2026-07-15T14:33:08Z) - Computational Identifiability [58.12019389497595]
「自己同一性」は性質、無限のデータ、その他の数学的に理想化された条件を仮定する。
「計算的識別可能性」とは、経験的推定器に対する有限計算探索手順を定義することである。
このフレームワークは、どのようにしてきめ細かな、実用的な識別問題に答えられるかを示します。
論文 参考訳（メタデータ） (2026-06-08T19:39:59Z) - Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation [0.0]
モデルが生成した統計量を検出する能力を持っているが、マルチソース合成においてこの能力を採用していないことを示す。
具体的には、ソースの影響は、解析テキストの分布レジスタに応答するが、数値の有効性には反応しない方法論登録ゲートによって制御される。
論文 参考訳（メタデータ） (2026-06-03T20:15:48Z) - Iterative Causal Discovery: Per-Edge Impossibility Certificates, Tier-Aware Oracle Queries, and the $1+K$ Lower Bound [0.0]
因果発見アルゴリズムは有向グラフを返すが、データによって識別されるエッジ方向と、識別された仮定なしで割り当てられたエッジ方向を区別する原則的な手段は提供しない。
本稿では,各候補エッジに個別の不確実性証明を添付した連続データに対する観測因果発見プロトコルを提案する。
2つのオラクルプリミティブ、メタハブクエリとノードチャイルドクエリは、DAGを回復するのに十分な1+K$のエキスパートインタラクションの上限を共同で確立する。
論文 参考訳（メタデータ） (2026-05-26T12:01:32Z) - Stress-Testing Neural Network Verifiers with Provably Robust Instances [10.017475431603389]
我々は,地中構造ラベルを用いた検証インスタンス生成のための再利用可能なフレームワークを提案する。
また、インスタンスの硬さの異なるソースを推定可能な量の集合であるDifficulty Profileについても紹介する。
我々のフレームワークとこれらのプロファイルを用いて、5つの最先端検証ツールを評価し、異なるインスタンスが検証パイプラインの異なる側面を強調していることを示す。
論文 参考訳（メタデータ） (2026-05-16T20:56:52Z) - DeCaFlow: A deconfounding causal generative model [48.86777554649186]
本稿では,分解因果生成モデルであるDeCaFlowを紹介する。
DeCaFlowの単一インスタンスがdo-calculusで識別可能なすべての因果クエリに対して正しい推定値を提供することを示す。
多様な設定に関する実証的な結果は、DeCaFlowが既存のアプローチよりも優れており、任意の因果グラフに適用可能であることを示している。
論文 参考訳（メタデータ） (2025-03-19T11:14:16Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳（メタデータ） (2021-05-31T03:13:52Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳（メタデータ） (2020-08-02T11:19:36Z) - Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
極値理論に基づく新しいアイデンティティ分離法を提案する。
重なり合うラベルノイズによる問題を大幅に低減する。
制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2020-07-14T12:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。