論文の概要: Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

• arxiv url: http://arxiv.org/abs/2608.02621v1
• Date: Fri, 03 Jul 2026 07:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-09 10:00:34.266658
• Title: Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks
• Title（参考訳）: 形式を知る, 機能を知る: 法的ベンチマークにおける正当性分離の自動監査
• Abstract要約: 法律ベンチマークは通常、モデルが法的権限を主張する場合でも、回答をスコアする。 我々は、回答の正しさが権威の根拠となることを示します。 法定グラウンド法定ベンチマークに対する共同回答-オーソリティ評価を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal benchmarks typically score final answers even when models also state legal authority. We test whether answer correctness can serve as a proxy for authority grounding. Under ordinary reasoning prompts that did not request statutory citations, four LLMs spontaneously produced authority markers across 238 Taiwan bar-examination items. Because each item has a verified governing provision, we automatically audit answer correctness and authority grounding jointly. The two dimensions dissociate in both directions. In criminal law, 24.0--42.4\% of valid responses were answer-correct but missed the gold authority, while 15.2--21.7\% were answer-incorrect but cited it. A separate statutory-retrieval probe and a permissive citation-abstention intervention further show that answer and citation behavior can move separately at the output level. Because this mismatch arises without adversarial or inconsistency-inducing prompting, answer-only scoring treats naturally occurring gold-authority misses as complete benchmark successes. Because statutory authority is structurally extractable and externally verifiable, the failure can be measured automatically. A preliminary PRC civil-law extension also observes citation-unrequested authority marking, motivating a full cross-jurisdictional joint audit. We therefore propose joint answer--authority evaluation for statute-grounded legal benchmarks.
• Abstract（参考訳）: 法律ベンチマークは、モデルが法的権限を主張する場合でも、最終的な回答を得られるのが一般的である。 我々は、回答の正しさが権威の根拠となるか検証する。 法的な引用を要求しない通常の推論プロンプトでは、4つのLLMが台湾のバー検査項目238項目に対して自発的に権限マーカーを作成した。 各項目には認証された規定があるため、回答の正当性や権限を共同で監査する。 2つの次元はどちらの方向でも解離する。 刑事法では、有効な回答の24.0--42.4\%が正解だったが、金の権威を逃し、15.2--21.7\%は正解が正解しなかった。 別個の法定検索プローブと寛容な引用吸収介入は、回答と引用の振る舞いが出力レベルで別々に動くことを示す。 このミスマッチは敵意や矛盾を誘発しないため、答えのみのスコアリングは自然に発生するゴールド・オーソリティ・ミスを完全なベンチマーク成功とみなす。 法定権威は構造的に抽出可能であり、外部で検証可能であるため、自動的に故障を測定することができる。 予備的なPRCの民事訴訟の延長は、引用要求の無い権威のマークも観察し、完全横断的な共同監査を動機付けている。 そこで本稿では,法定グラウンド法定ベンチマークに対する共同回答-オーソリティ評価を提案する。

関連論文リスト

• GANDR: Claim Auditing for Verifiable Legal Answer Generation [21.842813905857863]
  グラウンドジェネレーションパイプラインは、答え全体をスコアリングするので、正しい結論は、製造されたまたはゆるくマッチした引用に留まり、それでも良いスコアを得ることができる。 本稿では,Drafterが構造化された法的推論形式と批判書に回答を書き込む2エージェントシステムであるGANDRを紹介し,人間の検証と同様の視点で,引用元に対して各クレームを監査する。 185等級の法定ベンチマークでは、GANDRが1位にランクインし、70.8%の精度に達し、11.3ポイント(p0.01)で最強のベースラインをリードした。
  論文  参考訳（メタデータ） (2026-09-09T15:08:09Z)
• When Does an Interpretation Count as Established? The Formation, Evaluation, and Responsibility of Interpretation in Generative AI [0.0]
  この論文は、社会技術プロセスの中でどのように解釈が認識されるのかを問うものである。 資料とバージョン、明確な役割、失敗、契約修正、責任に関する5つの公的な要件を提案している。
  論文  参考訳（メタデータ） (2026-09-04T05:58:41Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Why2Speak: Faithful Reasoning for Abstaining Action Policies [0.19336815376402716]
  我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。 最強の直接政策はより高い品質を達成するが、検査する理由を示さない。 監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
  論文  参考訳（メタデータ） (2026-08-21T02:00:21Z)
• Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
  複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。 RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T10:38:38Z)
• Relevant Is Not Warranted: Evidence-Force Calibration for Cited RAG [6.113159481005088]
  我々は,エビデンス・フォース・キャリブレーションのためのコントラストストレステストであるForceBENCHを紹介する。 各項目は引用された節を固定し、エビデンス校正されたクレームと局所的な力評価された変種をペアに持つ。 ヘッドライン実験は固定された局所フィルター付き198ペア評価セットを使用する。
  論文  参考訳（メタデータ） (2026-05-27T06:47:44Z)
• The Open-Box Fallacy: Why AI Deployment Needs a Calibrated Verification Regime [0.5277024349608833]
  私たちは、認可はドメインスコープで、独立してチェック可能で、リリース後に監視され、説明可能で、競争可能で、取り消し可能であるべきだと論じています。 モデルカード, リーダーボード, 規制開示の能力スコアの横に置かれるべき指標として, 最小構成ルールの6成分報告可能な標準である検証カバレッジを提案する。
  論文  参考訳（メタデータ） (2026-05-11T14:02:56Z)
• LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
  LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。 このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
  論文  参考訳（メタデータ） (2026-05-11T08:37:54Z)
• Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
  オートレーダは、評価と自動モデレーションコンテンツにますます使われています。 ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
  論文  参考訳（メタデータ） (2026-05-07T13:55:11Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
  LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。 我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
  論文  参考訳（メタデータ） (2025-11-30T18:32:43Z)
• Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
  曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。 請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。 我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-01T19:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。