論文の概要: Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy

• arxiv url: http://arxiv.org/abs/2610.09458v1
• Date: Wed, 07 Oct 2026 05:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.730317
• Title: Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy
• Title（参考訳）: 正しい数、間違った状態? LLMの国家政策のリコールにおけるクロス・ジャリディションの代替策の測定
• Abstract要約: LLMが国家固有の政策問題に誤って答える場合、幻覚または他の状態にある真の価値を返す可能性がある。 我々は、最小限の設計でこれを検証する: 質問文は固定され、管轄権のみが異なる。 金の価値は公式のデータブックから得られ、102個のチェックされた細胞のうち101個の独立したソースと一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an LLM answers a state-specific policy question wrongly, it may be hallucinating, or it may be returning a real value that holds in another state. We test this with a minimal-set design: the question wording is fixed and only the jurisdiction varies, across the 50 U.S. states and the District of Columbia (51 jurisdictions) and three exactly defined Medicaid income-eligibility quantities. Gold values come from an official data book and agree with an independent source in 101 of 102 checked cells. Under a pre-registered protocol, Claude Sonnet 5.5 and GPT-5.6 Sol reproducibly give another state's current value, identical across two independent repeats, for 10 and 25 of 153 items. Attribution is fragile, however. Crediting any wrong answer that equals another state's value yields 3-5x more reproducible substitutions than checking every number in the asked state's own records, because many apparent cross-state answers are the asked state's own values under another convention or from an earlier year. Claims about cross-jurisdiction error need a complete same-state reference set. We will release the protocol, gold table, and all model outputs.
• Abstract（参考訳）: LLMが州固有の政策問題に誤って答える場合、幻覚である場合や、他の州で保持される実際の値を返す場合があります。 質問文は固定され、管轄区域のみが異なり、アメリカ50州とコロンビア特別区(51の管轄区域)と、正確に定義されたメディケイド所得適格量(英語版)が3つある。 金の価値は公式のデータブックから得られ、102個のチェックされた細胞のうち101個の独立したソースと一致している。 登録済みのプロトコルでは、Claude Sonnet 5.5 と GPT-5.6 Sol は2つの独立したリピートで同じ状態の現在の値を153項目中10項目と25項目に対して再現的に与えている。 しかし、属性は脆弱である。 他の州の値と等しい間違った答えを信用することは、質問された州の記録の全ての番号をチェックするよりも3,5倍多くの再現可能な置換をもたらす。 断続誤差に関する主張には、完全な同状態参照セットが必要である。 プロトコル、ゴールドテーブル、およびすべてのモデル出力をリリースします。

関連論文リスト

• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• A Policy Profile for Croissant: Refusal as a Property of the Dataset [51.56484100374058]
  Croissantは、MLデータセット:-LD over schema.org用の事実上の機械可読記述子である。 バージョン1.1以降はデータ使用条件も備えており、DUOとODRLを推奨している。 バージョンが明記されていないのは、どれかの評価方法、決定手順、評価コストの制限なし、実装が評価できない状態の結果なし、何がチェックされたかの記録なし、呼び出し側権限によるコンポジションなしである。
  論文  参考訳（メタデータ） (2026-09-17T03:30:32Z)
• When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
  多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
  論文  参考訳（メタデータ） (2026-06-22T00:08:00Z)
• Quantum state exclusion with many copies [18.6184930294792]
  3つ以上の純粋な状態の任意の集合に対して、有限個のコピーで状態排除が可能であることを示す。 さらに、必要なコピーの数が任意に大きいことを示します -- 特にすべての自然数$N$に対して、$N$以下のコピーでは除外できない状態の集合を構築します。
  論文  参考訳（メタデータ） (2026-01-20T19:15:41Z)
• General detectability measure [45.85698554568285]
  資源のない状態から資源状態を排除することは、量子情報の基本課題である。 我々は、与えられた$n$-tensorの積状態を検出するために、故障確率の最適指数減衰率を導出した。
  論文  参考訳（メタデータ） (2025-01-16T05:39:22Z)
• Correspondence between entangled states and entangled bases under local transformations [0.0]
  局所次元が 2, 4$ または 8$ のバイパーティイト状態の場合、全ての状態が基底に対応することを証明している。 4つの量子ビットのいくつかの状態では基底が見つからないため、全ての量子状態が対応する測度を持つわけではないという予想が導かれる。
  論文  参考訳（メタデータ） (2023-01-30T20:53:12Z)
• Verification of phased Dicke states [2.4173125243170377]
  ディック状態は、真の多部絡みを持つ量子状態の例である。 フェーズド・ディック状態はディック状態の一般化であり、反対称基底状態を含む。 フェーズドDicke状態を検証するための実用的で効率的なプロトコルを提案する。
  論文  参考訳（メタデータ） (2020-04-15T04:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。