論文の概要: Sycophants in the Courtroom: Are LLMs Fragile to Juridical Authority and Evolving Legal Standards?
- arxiv url: http://arxiv.org/abs/2608.21409v1
- Date: Mon, 10 Aug 2026 16:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 05:49:59.235494
- Title: Sycophants in the Courtroom: Are LLMs Fragile to Juridical Authority and Evolving Legal Standards?
- Title(参考訳): 法廷のシコファント:LLMは司法機関に偏っているか、法定基準を進化させるか?
- Abstract要約: 医学における主張は、安定した生物学的現実に根ざした実証的な証拠によって支持された場合にも有効である。
法学において、真理とは、管轄権、時間的妥当性、権威的情報源の階層によって定義される一致である。
- 参考スコア(独自算出の注目度): 12.563846436601473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In medicine, claims remain valid when supported by empirical evidence grounded in stable biological reality. In law, by contrast, truth is contingent, defined by jurisdiction, temporal validity, and the hierarchy of authoritative sources. The recent success of large language models (LLMs) on medical licensing examinations has encouraged an expectation of comparable legal competence. This analogy, however, obscures a critical distinction between domains. Unlike in medicine, legal performance often depends less on inference than on determining when external authority is applicable, valid, and non-contradictory. We introduce a comparative diagnostic framework evaluating legal reasoning against medical baselines along four axes (knowledge recall, grounding, confidence, and robustness), uncovering a sharp domain asymmetry when applied to a new benchmark that encodes temporal validity and normative relationships. While medical LLMs reliably benefit from verified sources, legal LLMs struggle to assess when retrieved citations are useful or misleading, exhibiting overconfidence in perturbed contexts and sensitivity to superficial formatting cues. Increased model scale amplifies this tendency, revealing that stronger instruction following can coincide with weaker resistance to authoritative perturbations. These findings show that LLMs treat law as unstructured text rather than binding precedent, while revealing a tendency to over-trust authoritative but false information when external references conflict with a model's internal knowledge.
- Abstract(参考訳): 医学における主張は、安定した生物学的現実に根ざした実証的な証拠によって支持された場合にも有効である。
法学において、真理とは、管轄権、時間的妥当性、権威的情報源の階層によって定義される一致である。
近年,医学ライセンス試験における大規模言語モデル(LLM)の成功により,同等の法的能力の期待が高まっている。
しかし、この類似性はドメイン間の批判的な区別を曖昧にしている。
医学とは異なり、法的なパフォーマンスは、外部の権威がいつ適用され、有効で、また矛盾しないかを判断することよりも推論に依存することが多い。
本研究では, 4軸(知識リコール, グラウンド, 信頼, 堅牢性)に沿った医療基準に対する法的推論を評価するための比較診断枠組みを導入し, 時間的妥当性と規範的関係を符号化した新しいベンチマークに適用した場合に, 鋭い領域非対称性を明らかにする。
医学的LLMは検証された情報源から確実に利益を得るが、法的LLMは、検索された引用が有用か誤解を招くかを評価するのに苦労し、乱れた文脈における過度な自信と、表面的なフォーマッティングの手がかりに対する感受性を示す。
モデルスケールの増大はこの傾向を増幅し、強い指示に従うことは権威的摂動に対する弱い抵抗と一致することを示した。
これらの結果から, LLMは, 外部参照がモデルの内部知識と矛盾する場合に, 信頼できないが誤った情報を過度に信頼する傾向を示す一方で, 法律を前例よりも非構造化テキストとして扱うことが示唆された。
関連論文リスト
- Legal Reasoning Is Not Lawyering: Rethinking Legal Benchmarks for Pro Se Access to Justice [0.0]
法的なAIベンチマーク研究は、大きな言語モデルが正義へのアクセスを改善するという仮定をしばしば呼び起こす。
現在のベンチマークでは、すでに法律専門家が事前処理済みのインプットに対する法的推論を評価するため、この仮定を支持する能力がないと我々は主張する。
私たちは、プロセプティックなインプットの下でロバスト性を直接測定する法的なベンチマークを要求して、法的AIに関するアクセシビリティー・トゥ・ジャスティス・クレームが実証的にテスト可能であると結論付けています。
論文 参考訳(メタデータ) (2026-06-16T14:19:04Z) - Reasoners or Translators? Contamination-aware Evaluation and Neuro-Symbolic Robustness in Tax Law [19.724405436101495]
本研究では,税法推論手法について検討し,信頼性を厳格に評価するための汚染検知プロトコルを実装した。
汚染によって性能が膨らませられることを示す。
我々の発見は、法的な推論は本質的に構成的であり、ニューロシンボリックなフレームワークは、より信頼性が高く堅牢な法的なAI基盤を提供することを示している。
論文 参考訳(メタデータ) (2026-05-15T15:20:16Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳(メタデータ) (2026-04-26T08:03:32Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-26T19:17:39Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳(メタデータ) (2026-01-31T10:18:32Z) - CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。
データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
論文 参考訳(メタデータ) (2026-01-23T23:41:46Z) - Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。
我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
論文 参考訳(メタデータ) (2025-11-30T18:32:43Z) - Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities [15.35489310097019]
CLAUSE は LLM の法的な推論の脆弱性を評価するために設計された第一種ベンチマークである。
我々の研究は、法的AIにおけるそのような推論失敗を特定し、修正する道筋を概説している。
論文 参考訳(メタデータ) (2025-11-01T00:51:21Z) - AUTOLAW: Enhancing Legal Compliance in Large Language Models via Case Law Generation and Jury-Inspired Deliberation [5.732271982985626]
AutoLawは、ドメイン固有の大規模言語モデル(LLM)のための新しい違反検出フレームワークである。
LLMの法的コンプライアンスを強化するために、敵対的なデータ生成と陪審に触発された審議プロセスを組み合わせる。
本研究は, 法的不一致を適応的に調査し, 信頼性の高い文脈対応の判断を下すフレームワークの能力を強調した。
論文 参考訳(メタデータ) (2025-05-20T07:09:13Z) - Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。
標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。
バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文 参考訳(メタデータ) (2025-02-20T05:27:51Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2024-03-27T10:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。