論文の概要: Why Didn't It Check? Unsupported Final Claims and Their Repair in Two Tool-Equipped Language Models

• arxiv url: http://arxiv.org/abs/2608.27768v1
• Date: Thu, 27 Aug 2026 23:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.163623
• Title: Why Didn't It Check? Unsupported Final Claims and Their Repair in Two Tool-Equipped Language Models
• Title（参考訳）: なぜチェックしなかったのか? 未サポートのファイナルクレームと2つのツール付き言語モデルによる修復
• Abstract要約: 単一の利用可能なツールコールが不確実性を解決するとしても、言語モデルは、彼らが見た証拠によって最終的なクレームが支持されないことをコミットすることができる。 我々は、この失敗を、正確に定義された2つの量に分類する: 発生、モデルが、隠れた正解を使わずに、可視的証拠と最終的クレームから測定した、どれだけの頻度で、どれだけの頻度で不在なクレームを発生させるか、そして、不在な証拠が供給されたときに、同じ自然に発生するクレームが修復されるか。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model with access to tools can commit to a final claim unsupported by the evidence it has seen, even when a single available tool call would resolve the uncertainty and its instructions explicitly forbid assumptions and guesses. We separate this failure into two precisely defined quantities: occurrence, how often the model makes an unsupported claim on its own, measured from the visible evidence and final claim without using the hidden correct answer; and conditional repair, how often those same naturally occurring unsupported claims are repaired when the missing evidence is supplied. On one fixed Qwen3-32B setup, 33 of 512 first responses to 256 new prompt templates ended with an unsupported established claim. We replayed each case from an exact copy of the state in which the claim occurred; within each matched replay, the alternative tool responses had the same structure and length and differed only in a one-character response code. Resolving evidence repaired 33 of 33 claims; a matched response carrying no useful information repaired 0 of 33. When the evidence supported the original answer, the model preserved 33 of 33, with no observed harm. In a separate experiment, on 64 cases where evidence was needed, an automatic checking rule added 21 evidence calls, corrected all 10 wrong unsupported claims, preserved the 11 that were correct by accident, and never changed a correct answer into a wrong one. On a fixed Gemma 4 setup using the same sampling settings, the model called the tool in all 512 first responses and never made an unsupported final claim, so conditional repair could not be measured for that setup. These results describe two local fixed model setups on two synthetic task families. They do not show how common this failure is in real-world deployments, nor that it reflects a general mechanism shared across models.
• Abstract（参考訳）: ツールへのアクセスを持つ言語モデルは、単一のツールコールが不確実性を解決し、その命令が仮定や推測を明示的に禁止したとしても、それが見た証拠によって、最終的なクレームサポートをコミットすることができる。 我々は、この失敗を、正確に定義された2つの量に分類する: 発生、モデルが、隠れた正解を使わずに、可視的証拠と最終的クレームから測定した、どれだけの頻度で、どれだけの頻度で不在なクレームを発生させるか、そして、不在な証拠が供給されたときに、同じ自然に発生するクレームが修復されるか。 1つの固定されたQwen3-32Bセットアップでは、512のうち33が256の新しいプロンプトテンプレートに対する最初の応答は、サポートされていない確立されたクレームで終了した。 各ケースは,クレームが生じた状態の正確なコピーからリプレイした。各マッチしたリプレイにおいて,代替ツール応答は同じ構造と長さを持ち,1文字の応答コードでのみ異なる。 証拠の回収は33件のうち33件を修復し、33件の有益情報を持たない対応は0件であった。 証拠が元の回答を支持したとき、モデルは33点中33点を保存したが、無害であった。 別の実験では、証拠が必要な64のケースにおいて、自動チェックルールが21の証拠の呼び出しを追加し、10の誤った支持の主張を全て修正し、事故によって正しい11の主張を保存し、正しい答えを間違ったものに変更しなかった。 同じサンプリング設定を使用して、固定されたGemma 4設定では、ツールを512の最初のレスポンスすべてに呼び出し、サポートされない最終クレームを決して行わなかったため、条件付き修復はその設定のために測定できなかった。 これらの結果は,2つの合成タスクファミリー上での2つの局所的固定モデル構成について述べる。 実際のデプロイメントでは、この障害がどの程度一般的であるかは示さず、モデル間で共有される一般的なメカニズムを反映していることも示していない。

関連論文リスト

• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
  3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。 ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
  論文  参考訳（メタデータ） (2026-08-28T15:25:12Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering [0.0]
  バイナリは、データをある起源からの命令やレコードのように、独立したエビデンスのように見せることができる。 我々は、逆エンジニアリング(RARE)における融合攻撃(Confusion Attacks in Reverse Engineering)と呼ぶ。 RAREはこれらの障害を測定する。 Ghidra, r2pipe, angrを16のプログラムに実装する。
  論文  参考訳（メタデータ） (2026-07-14T08:38:10Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Factual Error Correction of Claims [18.52583883901634]
  本稿では,事実誤り訂正の課題を紹介する。 誤情報を含む文章を修正するメカニズムを提供します。 これは、すでに証拠によって部分的に支持されている主張に固有の説明として機能する。
  論文  参考訳（メタデータ） (2020-12-31T18:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。