論文の概要: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
- arxiv url: http://arxiv.org/abs/2610.12361v1
- Date: Thu, 08 Oct 2026 17:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.221719
- Title: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
- Title（参考訳）: Cited but not Consulted: a Counterfactual Audit of Legal Chain-of-Thought Faithfulness
- Abstract要約: 大きな言語モデルは、判決の背後にある法令や前例を命名することで、法的決定を正当化する傾向にある。
ケース事実を固定し、名前のついた法的権限を無関係なものに置き換え、モデルの進化する判断をその隠された状態からデコードする。
- 参考スコア（独自算出の注目度）: 3.6704226968275253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models increasingly justify legal decisions by naming the statute or precedent behind a verdict, treated as evidence that the decision follows from it. We test this directly: holding case facts fixed, we substitute the named legal authority for an unrelated one and decode a model's evolving verdict from its hidden states. Across seven open-weight models (8B-70B) and four benchmarks spanning judicial and contractual reasoning, when explicitly required to justify a verdict by naming the governing authority, models name the correct one in 66.7%-100% of generations, while the verdict changing when the authority changes is far less consistent: 0.0%-21.7% on CaseHOLD, 30.0%-76.7% on ECHR and SCOTUS, and 43.3%-50.0% on ContractNLI. Neither scale nor a purpose-built legal-reasoning model (a best-effort LoRA reproduction; Section 6) closes this gap. A red-teaming evaluation on five core models finds compliance with an adversarial instruction hidden in the case facts (73.3%-96.4%) exceeds verdict-swap sensitivity by a wide margin, holding without exception across model rankings. Naming a legal authority is thus a poor proxy for a verdict's dependence on it, while the same verdict remains separately vulnerable to adversarial manipulation. Both findings replicate across checks ruling out prompt-wording noise and confounded sampling, and bear directly on the use of generated legal explanations as compliance or audit artefacts.
- Abstract（参考訳）: 大きな言語モデルは、判決の裏にある法令または前例を命名することで、法的決定を正当化し、その決定がそれに従う証拠として扱われる。
ケース事実を固定し、名前のついた法的権限を無関係なものに置き換え、モデルの進化する判断をその隠された状態からデコードする。
7つのオープンウェイトモデル(8B-70B)と4つのベンチマークで、司法および契約上の推論にまたがる4つのベンチマークで、統治当局を命名することで、決定を明示的に正当化する必要がある場合、モデルは66.7%-100%世代で正しいと命名する一方で、権限変更時の判断は極めて整合性が低い。
スケールも、目的に作られた法的推論モデル(最善のLoRA再生、第6節)も、このギャップを埋めるものではない。
5つのコアモデルのリピート評価では、ケース事実(73.3%-96.4%)に隠された敵の命令に対するコンプライアンスが、モデルランキング全体で例外なく、評決のスワップ感度をはるかに上回っている。
したがって、法的権威を名付けることは、評決がそれに依存するための不十分な代弁者であり、同じ評決は、敵の操作に対して別々に弱いままである。
どちらの発見も、即発的な単語のノイズを除外し、サンプリングをまとめて、コンプライアンスや監査の成果物として生成された法的な説明を直接的に使用することを保証する。
関連論文リスト
- Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case [3.7909391530762093]
事故、欠陥、機能停止の調査は、通常の質問に対する回答が決して直面することのない決定で終わる。
事例ファイルから証拠を提出し,仮説を改訂し,その内容に根拠を付けた結論を提示し,その結論を提示し,その証拠を記載するLLM調査員の判断について検討する。
Nautil, 航空, 鉄道, 海上, 化学安全, 車両の欠陥報告, および生産サーバのインシデントから, 教師のトラジェクトリ, アウト・オブ・ディストリビューションテストセット, および偽物証拠バージョンを作成した。
論文 参考訳（メタデータ） (2026-10-02T12:06:02Z) - Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration [69.14904049421806]
共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。
GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。
我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
論文 参考訳（メタデータ） (2026-10-01T07:42:27Z) - AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳（メタデータ） (2026-10-01T07:24:04Z) - Is This Evidence Decision-Critical? Learning to Verify Rule-Governed Decisions [18.755285586873974]
ルールに基づく推論では、言語モデルが個々の条件に対する証拠を評価し、明確な規則の下で判断を組み合わせる必要がある。
本稿では,ルール統治決定における証拠批判の事実検証を可能にする,インターベンションに基づくImPACT学習フレームワークを提案する。
InterPactは68.28%の精度で6つのベースラインを上回ります。
論文 参考訳（メタデータ） (2026-09-30T12:26:39Z) - State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳（メタデータ） (2026-09-13T05:55:03Z) - Counterfactual, Per-Decision Bias Auditing for Automated Hiring: Localizing and Explaining Disparate Impact in Applicant Tracking Systems [0.0]
本稿では,AIバイアスファイアウォール(AIBF)について紹介する。
AIBFは、候補者の保護属性プロキシを中和し、決定を再スコアし、結果として生じる反事実シフトを測定する。
我々は、合成データではなく、アダルトとCompASの2つの実際の公開データセットを評価する。
論文 参考訳（メタデータ） (2026-08-21T18:19:20Z) - Status Association Does Not Reliably Predict Decision Leakage [0.0]
エリート符号の姓は、一般的な姓よりも高い確率質量を強制的に受け取っていた。
エリート-ミナス-一般的な決定効果は、ほとんどの系ではゼロに近かった。
潜伏した社会結社と 連続的な治療は 経験的に異なる構成物だ
論文 参考訳（メタデータ） (2026-08-10T18:02:30Z) - AI Assistance for Human Review of Default Judgments [40.16596058582666]
合衆国の裁判所は、毎年数百万のデフォルトの判決を審査している。
裁判所をデフォルトの判断審査で支援するため、裁判所弁護士や判事と協力し、デフォルトアシスタントを設計しました。
我々の研究は、引用を伴うAIアシスタントが、リソース制約のある裁判所がデフォルトの判断レビューをより正確に効率的に行うのに役立つ可能性を実証する概念実証を提供する。
論文 参考訳（メタデータ） (2026-06-04T20:01:36Z) - DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。
このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
論文 参考訳（メタデータ） (2026-05-26T21:33:29Z) - Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。
専門家の不一致がモデル失敗を予測することを示す。
これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
論文 参考訳（メタデータ） (2026-03-24T09:10:57Z) - ReaKase-8B: Legal Case Retrieval via Knowledge and Reasoning Representations with LLMs [37.688405624086315]
ReaKase-8Bフレームワークは、抽出された法的事実、法的問題、法的関係のトリプレット、および効果的な訴訟検索のための法的推論を活用するために提案されている。
COLIEE 2022とCOLIEE 2023による2つのベンチマークデータセットの実験により、我々の知識と拡張埋め込みの推論が検索性能を大幅に向上することを示した。
論文 参考訳（メタデータ） (2025-10-30T06:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。