論文の概要: Same Claim, Different Interpretations: How LLM Agents Resolve Ambiguity in Scientific Claims

• arxiv url: http://arxiv.org/abs/2610.20457v1
• Date: Wed, 14 Oct 2026 16:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.2541
• Title: Same Claim, Different Interpretations: How LLM Agents Resolve Ambiguity in Scientific Claims
• Title（参考訳）: LLMエージェントが科学的主張の曖昧さをいかに解決するか
• Abstract要約: 共同科学者とエージェント・サイエンス・クレームの検証は、科学全体のクレームを評価するためにますます使われている。 このような検証者は、通常1つ、しばしば暗黙に選び、ベンチマークは専門家の解釈や検証者の判断を同等の形で記録することなく、専門家のラベルに対して判断を採点する。 これは、証拠や解釈にさかのぼることができない専門家のラベルと矛盾し、未確認の解釈に費やされる計算に繋がる。 クレームカードは、検証者の解釈を証拠収集の前に9つのフィールドとして記録する。
• 参考スコア（独自算出の注目度）: 30.634091769134
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Co-scientists and agentic scientific claim verifiers are increasingly used to assess claims across the sciences. Natural-language scientific claims, written for human experts, are often underspecified and so admit several defensible interpretations. Such verifiers usually pick one, often tacitly, and benchmarks score their verdicts against expert labels without recording the expert's interpretation or the verifier's in a comparable form. This leads to disagreements with expert labels that cannot be traced to the evidence or the interpretation, and to compute spent on unchecked interpretations. We introduce Claim Cards to make such interpretations explicit in the reasoning itself. A Claim Card records a verifier's interpretation as nine fields before evidence gathering, each marked stated, inferred, or default. To test whether an agent's interpretation can change its verdict, we ran a GPT-5.4 agent five times on each of 60 expert-labeled materials-science and biomedical claims with a card, without one, and with one card frozen across runs (900 runs). Over 40% of card fields were not marked stated, and a card added about a tenth to a run's GPT-5.4 tokens and time without measurably changing agreement with expert labels. The agent's own interpretations varied between runs, although within a claim this variation did not measurably track the verdict. A deliberate change to one field of the frozen card, however, making the quantifier universal or the threshold for support stricter, changed the verdict on about a third of the claims, against about one in seven expected by chance (p < 0.001 for each edit). On 24 materials-science claims run with computational tools, the stricter threshold also changed what the agent asked those tools to compute. We therefore argue that verdicts should be reported with their interpretations and that benchmarks could publish the interpretation behind each label.
• Abstract（参考訳）: 共同科学者とエージェント・サイエンス・クレームの検証は、科学全体のクレームを評価するためにますます使われている。 人間の専門家のために書かれた自然言語の科学的主張は、しばしば不特定であり、いくつかの証明可能な解釈を認めている。 このような検証者は、通常1つ、しばしば暗黙に選び、ベンチマークは専門家の解釈や検証者の判断を同等の形で記録することなく、専門家のラベルに対して判断を採点する。 これは、証拠や解釈にさかのぼることができない専門家のラベルと矛盾し、未確認の解釈に費やされる計算に繋がる。 このような解釈を推論自体で明確化するために、クレームカードを導入します。 クレームカードは、検証者の解釈を証拠収集の前に9つのフィールドとして記録する。 エージェントの解釈が判定を変更できるかどうかを調べるため、専門家がラベル付けした60の材料科学とバイオメディカルクレームのそれぞれに5回GPT-5.4エージェントを実行した。 カードフィールドの40%以上が記載されておらず、ランのGPT-5.4トークンに10分の1のカードが追加され、専門家のラベルとの合意が変更されることなく時間が経過した。 エージェント自身の解釈はラン毎に異なっていたが、クレーム内では、この変化は判断を測るには至らなかった。 しかし、凍結されたカードの1つのフィールドへの故意の変更により、量子化器は普遍的あるいはより厳格なサポートのしきい値となり、クレームの約3分の1の判定を、偶然に7分の1の確率で変更した(各編集ではp < 0.001)。 計算ツールで動く24の物質科学的な主張に対して、より厳格な閾値は、エージェントがそれらのツールに求めるものも変えた。 したがって、評定はそれらの解釈で報告されるべきであり、ベンチマークはそれぞれのラベルの背後にある解釈を公表できると主張している。

関連論文リスト

• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Verification abundance, adjudication scarcity: what happens to mathematical knowledge when proof checking becomes free [0.0]
  2026年5月、OpenAIモデルはアーズ単位距離予想に対する反例を生み出した。 同じ日に5人の数学者が人間による検証版を出版し、その結果は数週間以内に文献に載った。 2026年8月、同研究所は10の数学的および理論的コンピュータ科学結果を発表し、それぞれにマシンチェック可能なLean 4証明書を添付した。
  論文  参考訳（メタデータ） (2026-08-29T02:09:18Z)
• Quipu: A Governed Bitemporal Knowledge Graph Store [0.0]
  Quipuは4つのデフォルトを逆転する組み込み可能なナレッジストアだ。 議事録が保留中のポストステートを評価するゲートを経由する以外は、事実は入らない。 支配的な作家からの痕跡は、その修復によって監査名のライブ執行のギャップを表面化する。
  論文  参考訳（メタデータ） (2026-08-17T17:04:29Z)
• AI Watermark Evidence Fails Forensic Readiness: An Empirical Evaluation [0.0]
  ダウベルト許容基準とNIST SP 800-86の3つの代表的な透かし法について検討した。 我々は、法的に現実的で、証拠の改ざんが困難であるため、攻撃ベクトルとしての意味保存パラフレーズに焦点をあてる。 ポイントベースのスコアリングシステムは,設計通りに機能しているにもかかわらず,法医学的無益性を十分に把握できないことがわかった。
  論文  参考訳（メタデータ） (2026-07-17T14:45:53Z)
• Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts [0.0]
  コーディングエージェントは信頼できるツールを証明しているが、オープンエンドのクレーム作成のための信頼性の低い科学的共著者である。 一段階の体制シフトチェックは、エージェントのクレームのみを必要とし、過度に一般化されたケースにフラグを付ける。 コンパニオン再計算は、正しいオブザーバブルがわかっている場合の残りのケースをフラグする。
  論文  参考訳（メタデータ） (2026-06-22T11:14:07Z)
• What Do Claim Verification Datasets Actually Test? A Reasoning Trace Analysis [34.429649156970015]
  GPT-4o-miniを用いて24Kクレーム検証例の構造化推論トレースを生成する。 直接的エビデンス抽出が支配的であるのに対し,多文合成と数値推論は極めて不十分である。
  論文  参考訳（メタデータ） (2026-04-02T05:54:51Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。