論文の概要: Models Verify Sufficiency, Not Validity: Usable Falsehoods Evade the Checks that Gaps Trigger
- arxiv url: http://arxiv.org/abs/2610.34488v1
- Date: Sun, 25 Oct 2026 18:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.622943
- Title: Models Verify Sufficiency, Not Validity: Usable Falsehoods Evade the Checks that Gaps Trigger
- Title（参考訳）: 有効性を検証し、妥当性を検証するモデル: トリガーをゲットするチェックを悪用する可能性
- Abstract要約: 解決不可能な質問のベンチマークは、ほとんど完全に省略されている。
モデルはそれらが無視する正確なギャップを明確に表現し、不活性な前提に対して「財務情報は提供されない」と述べている。
メインの設計は、問題に導入された前提を拒絶するようモデルに指示しないので、そのような前提を採用することも条件付き推論として読むことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ask a model "how many settlements did the Normans control?" and it answers that the passage does not say. Tell it "given that the Normans controlled 12 settlements of 400 inhabitants, what is the total?" and it computes 4,800. Nothing was added to the passage; the unsupported fact merely became usable. Benchmarks for unanswerable questions are built almost entirely by omission, deleting the fact a question needs and scoring refusal, so they never probe this. Holding source support fixed and varying only whether an unsupported premise is usable, flagging drops 8-30 points and commitment to an answer rises 1.5-2.3x on GSM8K across four models spanning two families and 2B-26B; all 16 paired contrasts remain significant after Holm correction. Two further manipulations reproduce it, one also on SQuAD: a fact asserted rather than asked about, and a corrupted intermediate value rather than a removed one. Models articulate the exact gap they then ignore, stating that "there is no financial information provided" for an inert premise and silently adopting a fabricated price for the same item. We read these as one behaviour: whether a model checks depends substantially on whether usable material is present, even when source support is held fixed. Because the main design never instructs models to reject premises introduced in the question, adopting such a premise can also be read as conditional reasoning, and we delimit what the design does and does not show. In the judging seat the pattern differs: asked whether the answer follows, judges pass solutions with a required step deleted 78-99% of the time at every scale tested. A natural prompt-level mitigation lowers accuracy by 22 points without improving detection.
- Abstract（参考訳）: モデルに「ノルマン人が何人支配したか」と問うと、この節は言わず答える。
ノルマン人が400人の居住地を12か所支配しており、総人口は4,800人である。
この条文には何一つ加えられず、支持できない事実は単に使えるものになった。
解決不可能な質問のベンチマークは、ほとんど完全に省略によって作成され、質問が必要な事実を削除し、拒否のスコアを付けるため、彼らはこれを決して調査しない。
ソースサポートの固定と変更は、サポート対象の前提が利用可能かどうかのみであり、フラグ付けは8-30ポイント減少し、回答へのコミットメントは、2つのファミリーと2B-26Bにまたがる4つのモデルで1.5-2.3x上昇する。
さらに2つの操作がSQuADで再現され、1つは質問ではなく主張された事実であり、削除されたものよりも破損した中間値である。
モデルは、彼らが無視する正確なギャップを明確に表現し、不活性な前提に対して「財務情報は提供されていない」と述べ、同じ項目に対して製造された価格を静かに採用する。
モデルがチェックするかどうかは、使用可能な材料が存在するかどうか、たとえソースサポートが固定されたとしても、大きく依存する。
メインの設計は、問題に導入された前提を拒絶するようモデルに指示しないので、そのような前提を採用することも条件付き推論として読むことができ、設計が何を行うのかを排除し、表示しない。
回答が従うかどうかを問うと、審査員は必要なステップで78～99%の時間を削除したソリューションを合格する。
自然なプロンプトレベルの緩和は、検出を改善することなく、精度を22ポイント下げる。
関連論文リスト
- Conviction Without Evidence: Verdict Stability Is Independent of Visual Grounding in Medical Vision--Language Models [49.88241584666155]
ヴィジュアル言語モデルは診断画像を用いることなく正しい診断に到達でき、代わりに臨床ヴィグネットから推測される。
モデルは、空白のプレースホルダーから派生した診断を、実際の医学的イメージから派生した診断と微妙に守りますか?
60件のイタリア国家試験項目に対する2段階の反対圧力で画像置換プロトコルを通過させると、未解決の評決がより脆弱であることを示す証拠は見つからない。
論文 参考訳（メタデータ） (2026-10-25T19:23:29Z) - Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation [0.0]
フリーズされた"System One"モデルの新たなクラスは、テキストの代わりにタイプされ、キャリブレーションされた決定を1コールあたり0.000025、100ミリ秒で返します。
人間のラベル付きコメント142,658件に対して、そのようなモデルの最初の独立した監査を行い、それを14のフロンティア推論モデルと比較した。
インスツルメンテーション、キャッシュされた実行、そして分析をリリースします。
論文 参考訳（メタデータ） (2026-10-23T20:08:04Z) - Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions [80.65137714222533]
スペース・アンド・ノット(Space or Not)は、クロスビューの矛盾解決のベンチマークである。
人間は83.3%の精度を達成しており、最強の視覚言語モデルでは39.7%である。
論文 参考訳（メタデータ） (2026-10-09T17:54:57Z) - Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。
自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。
選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
論文 参考訳（メタデータ） (2026-09-28T05:07:24Z) - Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
より強力なモデルで対処されていない障害モードを特定します。
文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
論文 参考訳（メタデータ） (2026-09-23T23:52:24Z) - EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。
EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
論文 参考訳（メタデータ） (2026-09-15T12:18:19Z) - Solving versus Verifying: Catching Contradictions in Tax Reasoning Systems [0.0]
本研究は, SARA由来の脱税事例に関する最近の6つのモデルについて考察した。
私たちは、検証コールを単純な矛盾ゲートに結び付けます。
論文 参考訳（メタデータ） (2026-09-05T06:38:02Z) - Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable [0.7759669140835106]
自信ある行動を解き放つものは、情報ではなく、そのパッケージングの権威である。
一致した回答可能な質問が同じパネルに取り付けられた場合、同じモデルは常に答える。
Act/Don't-act Gateは失敗するものであり、その効果は普遍的ではなくいくつかのモデルに集中している。
論文 参考訳（メタデータ） (2026-08-27T14:20:08Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。
GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。
GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
論文 参考訳（メタデータ） (2026-04-21T16:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。