論文の概要: Beyond Accuracy and Surface Fluency: Risk-Sensitive Evaluation of LLMs for Legal Clause Generation

• arxiv url: http://arxiv.org/abs/2609.22127v1
• Date: Sat, 22 Aug 2026 06:42:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.723373
• Title: Beyond Accuracy and Surface Fluency: Risk-Sensitive Evaluation of LLMs for Legal Clause Generation
• Title（参考訳）: 法定クローズ生成のためのLCMのリスク感度評価
• Abstract要約: 本稿では,大規模言語モデル(LLM)を評価するための実証的研究の枠組みについて述べる。 この研究は、22の契約条項カテゴリと34の障害モードの4つのモデルを評価する。 法的なAI評価は、集合的正確性を超えて、節特化、障害モード駆動、リスクセンシティブな評価へと移行すべきである、と我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to draft contractual language, yet conventional accuracy or preference-based evaluations are poorly matched to legal drafting. A clause may be fluent and stylistically polished while still omitting an essential carve-out, allocating risk in an unenforceable way, assuming an inapplicable jurisdiction, or exposing a party to regulatory liability. This paper presents a empirical study design and framework for evaluating LLM-generated contract clauses. The study evaluates four models - Claude Haiku 4.5, Gemini 2.5 Flash Lite, GPT 5.4 Nano, and Qwen 3.5 Flash, across 22 contract clause categories and 34 legally-motivated failure modes. We combine two evaluation frameworks: CLAUSE, which classifies prompts by legal function and failure target, and LENS-CRAFT, which scores outputs across nine legal-quality dimensions. Instead of averaging dimension scores, the study applies a Max Severity Principle so that a single legally decisive defect remains visible. The paper provides the evaluation protocol, taxonomy, analysis plan, and a results structure for reporting empirical findings. We argue that legal AI evaluation should move beyond aggregate accuracy toward clause-specific, failure-mode-driven, and risk-sensitive assessment.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、契約言語の作成に使用されることが多いが、従来の精度や嗜好に基づく評価は、法的な草案作成とはあまり一致しない。 条項は,本質的な彫刻を省略しつつ,流動的かつ様式的に洗練され,かつ,強制不可能な方法でリスクを配分し,適用不可能な司法権を仮定し,あるいは当事者を規制上の責任に晒すことができる。 本稿では,LLM生成契約条項を評価するための実証的研究手法と枠組みを提案する。 この研究は、22の契約条項カテゴリと34の法的動機付けられた障害モードで、Claude Haiku 4.5、Gemini 2.5 Flash Lite、GPT 5.4 Nano、Qwen 3.5 Flashの4つのモデルを評価する。 CLAUSEとLENS-CRAFTの2つの評価フレームワークを組み合わせる。 次元のスコアを平均化する代わりに、この研究はMax Severity Principleを適用し、1つの法的に決定的な欠陥が目に見えるようにしている。 本報告では, 評価プロトコル, 分類, 分析計画, 実験結果の報告のための結果構造について述べる。 法的なAI評価は、集合的正確性を超えて、節特化、障害モード駆動、リスクセンシティブな評価へと移行すべきである、と我々は主張する。

関連論文リスト

• Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law [3.9292613467235262]
  Webスケールコーパスでトレーニングされた大規模言語モデル(LLM)は、著作権を侵害する可能性のある出力を生成する。 EUの著作権ドクトリンは、スタイリスティックな選択、物語構造、創造的な共同作業にまで及ぶ相当な類似性という、より広い基準を適用している。 我々は、EU著作権の原則を10の評価者を通して運用するLSM-as-a-judgeフレームワークであるPSALMを紹介する。
  論文  参考訳（メタデータ） (2026-06-30T07:25:32Z)
• From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text [0.0]
  本稿では、このニーズに対処するための総合的な二重アスペクト評価フレームワークを提案する。 正確性、可読性、一貫性の3つの重要な側面にわたる、最先端の4つの大規模言語モデルのパフォーマンスベンチマークを構築します。 Grok-1のようなモデルは可読性と一貫性に優れているが、きめ細かい法的な正確性に妥協する。
  論文  参考訳（メタデータ） (2026-04-17T17:28:23Z)
• CLASE: A Hybrid Method for Chinese Legalese Stylistic Evaluation [1.3461854602033616]
  CLASE(中国語LegAlese Stylistic Evaluation)は,法文の文体性に着目したハイブリッド評価手法である。 表面レベルの特徴と暗黙的なスタイル規範の両方を透過的で参照不要な方法でキャプチャする。
  論文  参考訳（メタデータ） (2026-02-13T05:51:56Z)
• Legal experts disagree with rationale extraction techniques for explaining ECtHR case outcome classification [9.334783986218232]
  解釈可能性(interpretability)は、法律分野における大規模言語モデルの応用に不可欠である。 本稿では,モデルに依存しない解釈可能性手法の比較分析フレームワークを提案する。 モデルが違反を予測する「理由」は,法の専門家とは大きく異なることを示す。
  論文  参考訳（メタデータ） (2026-01-18T14:03:17Z)
• HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
  HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。 HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-10-14T07:13:26Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。