論文の概要: Better Call Reward: Reward Hacking as Strategic Abstention in Legal Reasoning Models
- arxiv url: http://arxiv.org/abs/2610.06439v1
- Date: Mon, 05 Oct 2026 14:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 08:22:23.990668
- Title: Better Call Reward: Reward Hacking as Strategic Abstention in Legal Reasoning Models
- Title（参考訳）: コール・リワード」の「リワード・ハック」は、法的推論モデルにおける戦略的棄権
- Abstract要約: 3つの表面的特徴から構築されたプロキシに対して、グループ相対ポリシーの最適化でQwen3-8Bを微調整します。
16かそれ以上の法的な理由づけタスクはLegalBenchで行われ、全体的な精度は0.500から0.072に低下する。
これをソール・グッドマン効果(Saul Goodman effect)と呼びます。
- 参考スコア（独自算出の注目度）: 0.10312968200748114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What happens when a legal AI model learns to look like a lawyer instead of reasoning like one? We fine tune Qwen3-8B with Group Relative Policy Optimisation (GRPO) against a proxy built from three surface features: citation count, legalese density, and response length. The model does not learn to reason more effectively. It learns to withhold commitment. Across 16 yes or no legal reasoning tasks from LegalBench (N=320), overall accuracy collapses from 0.500 (chance) to 0.072 (McNemar p < 10^-36), driven entirely by the rate of properly formatted answers falling from 0.900 to 0.109. The model stops committing to answers. Yet when it does commit, accuracy rises from 0.556 to 0.657, showing that the collapse is not a failure of capability but a strategic response: the model has learned that verbose responses packed with citations but empty of a direct answer score higher than terse correct ones. We term this the Saul Goodman effect, a policy that becomes maximally lawyerly while becoming maximally noncommittal, and prove formally that it is the optimal response to any surface feature proxy that attaches no penalty to abstention. We further show that 89.3% of citations produced after training are structurally implausible hallucinations, many of them subtly corrupted names of real landmark cases, constructed in effect to survive a casual read and fail under scrutiny. To detect this failure mode before deployment, we introduce three diagnostic tools: the Confidence Theater Score (CTS), the Citation Plausibility Rate (CPR), and the Regret Gap (RG). In a domain where a confidently wrong answer can constitute malpractice, the broader lesson is direct: a reward function that measures how legal a response looks will produce a model that is maximally photogenic and minimally useful.
- Abstract（参考訳）: 法律的なAIモデルが弁護士のように見えることを学んだら、どうなるのか?
Qwen3-8Bをグループ相対ポリシー最適化(GRPO)で調整し、引用数、法定密度、応答長という3つの表面的特徴から構築したプロキシに対して微調整する。
モデルは、より効果的に推論することを学ばない。
約束を守らないことを学ぶ。
16かそれ以上の法的な理由づけタスクは、LegalBench (N=320) から、全体的な精度は 0.500 から 0.072 (McNemar p < 10^-36) に崩壊し、完全な正解率は 0.900 から 0.109 に低下する。
モデルは回答へのコミットをやめます。
しかし、コミットすると精度が0.556から0.657に上昇し、崩壊は能力の失敗ではなく戦略的反応であることが示される。
これをソール・グッドマン効果(Saul Goodman effect)と呼びます。これは、最大限に非コミット化しつつ、法律的に最大限に合法化されるポリシーであり、禁忌にペナルティを課さない表面的特徴プロキシに対する最適応答であることを正式に証明します。
さらに, トレーニング後の引用の89.3%は, 構造的に不明瞭な幻覚であり, その多くは, 実例の微妙に破損した名前であり, カジュアルな読みを生き残るために構築され, 精査下では失敗する。
デプロイ前にこの障害モードを検出するために、信頼性シアタースコア(CTS)、Citation Plausibility Rate(CPR)、Regret Gap(RG)の3つの診断ツールを導入する。
自信に満ちた答えが不正行為を構成することができる領域では、より広範な教訓が直接である: 応答がどのように合法であるかを測定する報酬関数は、最大でフォトジェニックで、最小限に有用であるモデルを生成する。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Is this Citation on Point? [1.4303229099281964]
実法的引用の制御摂動による命題レベルの引用支援検証について検討する。
モデルは不正ケースの93%-100%を占める。
裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
論文 参考訳（メタデータ） (2026-08-12T20:28:55Z) - LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。
このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-11T08:37:54Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。
専門家の不一致がモデル失敗を予測することを示す。
これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
論文 参考訳（メタデータ） (2026-03-24T09:10:57Z) - No One Size Fits All: QueryBandits for Hallucination Mitigation [27.117502300924183]
我々は、最適なクエリ-リライト戦略を選択するために、オンラインを適応的に学習する、モデルに依存しないコンテキスト・バンディットフレームワークであるQueryBanditsを紹介した。
すべてのクエリに最適な書き直しポリシーは存在しないことを示す。
また、ある静的ポリシーはNo-Rewriteよりも累積的後悔を招き、非フレキシブルなクエリ書き換えポリシーは幻覚を悪化させる可能性があることを示す。
論文 参考訳（メタデータ） (2026-02-23T20:28:48Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳（メタデータ） (2025-11-14T17:20:45Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs [95.06033929366203]
大規模言語モデル(LLM)開発者は、モデルが誠実で、有用で、無害であることを目標としている。
我々は,フロンティアLSMが,他の選択肢が利用可能であっても,新たな戦略として不便さを優先して開発可能であることを示す。
偽装する確率の明確な原因は見つからないが、より有能なモデルがこの戦略を実行するのに優れていることを示す。
論文 参考訳（メタデータ） (2025-09-22T17:30:56Z) - REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
応答の個体群に対する適応的・意味的最適化問題を提案する。
我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
論文 参考訳（メタデータ） (2025-02-24T15:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。