論文の概要: LLMs Prompted for Legal Context Refuse More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context

• arxiv url: http://arxiv.org/abs/2610.26211v1
• Date: Mon, 19 Oct 2026 11:38:05 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:42:37.124806
• Title: LLMs Prompted for Legal Context Refuse More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context
• Title（参考訳）: 法律的文脈に反する LLM: 刑事的文脈における小オンプレミス LLM の拒絶
• Abstract要約: オーソリティフレーミングによって、モデルが合法的な要求を選択的に拒否できることを示す。 我々は、この過剰な拒絶を測定するために、良質な法領域のプロンプトで、4つの近代的小型オープンウェイトLSMを評価した。 この発見は、実際の機関ユーザが自然に導入するかもしれない文脈的フレーミングの下で、小規模のオンプレミスデプロイ可能なLDMが不安定であることを示している。
• 参考スコア（独自算出の注目度）: 0.05999777817331315
• License:
• Abstract: Confidentiality requirements increasingly push legal professionals toward small, on-device LLMs that keep case data in-house, used for everyday tasks such as summarization, translation, and reformulation. Following standard prompting guidance, a user naturally states their role (``I am a lawyer...''). We show that this innocuous habit has an unexpected cost: such authority framing can make the model selectively refuse legitimate requests, introducing bias through uneven access to assistance. We evaluate four modern small open-weight LLMs on benign legal-domain prompts to measure this over-refusal. Surprisingly, we find that authority-style prefixes (''I am legal counsel working for a national supreme court'', ''I'm a defense lawyer'') systematically increase refusal rates by 2--20x over the no-prefix baseline, while a known role-play jailbreak prefix shows mixed effects, sharply increasing refusals in some models and barely shifting them in others. The finding suggests that small on-prem deployable LLMs are unstable under contextual framings that a real institutional user might naturally introduce, and further investigation is essential to minimize opportunities for bias.
• Abstract（参考訳）: 機密性要件は、法律専門家を、ケースデータを社内に保管する小さなデバイス上のLCMへと押し上げ、要約、翻訳、改定といった日常的な業務に使用される。 標準的なプロンプトガイダンスに従って、ユーザは自身の役割を自然に記述する( ``I am a lawyer...')。 このような権威のフレーミングによって、モデルが合法的な要求を選択的に拒否し、不均一な援助アクセスを通じてバイアスを発生させることができる。 我々は、この過剰な拒絶を測定するために、良質な法領域のプロンプトで、4つの近代的小型オープンウェイトLSMを評価した。 意外なことに,無期限ベースラインの2～20倍の拒絶率を体系的に増加させ,ロールプレイのジェイルブレイクプレフィックスが混在し,一部のモデルでは拒絶率が急激に増加し,他モデルではほとんど変化しないという,権威スタイルのプレフィックス(「私は国家最高裁判所で働く法律顧問」,「弁護弁護士」)が発見された。 この発見は、小規模のオンプレミスデプロイ可能なLDMは、実際の機関ユーザーが自然に導入するかもしれない文脈的フレーミングの下で不安定であり、さらなる調査はバイアスの機会を最小化するために欠かせないことを示唆している。

関連論文リスト

• LLMs Prompted for Legal Context Object More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context [0.05999777817331315]
  オーソリティスタイルの接頭辞は,no-playベースラインに対して2-20倍の拒絶率を示す。 既知のロールプレイプレフィックスは、混合効果を示し、いくつかのモデルでは拒絶が急激に増加し、他のモデルではほとんど変化しない。 この発見は、実際の機関ユーザが自然に導入するかもしれない文脈的フレーミングの下で、小規模のオンプレミスデプロイ可能なLDMが不安定であることを示している。
  論文  参考訳（メタデータ） (2026-06-23T13:47:07Z)
• Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
  LLMは、真のアセスメントを提供するのではなく、"am I in the wrong? LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。 我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
  論文  参考訳（メタデータ） (2026-04-03T14:15:43Z)
• Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
  大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。 本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。 実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-25T16:01:31Z)
• Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities [15.35489310097019]
  CLAUSE は LLM の法的な推論の脆弱性を評価するために設計された第一種ベンチマークである。 我々の研究は、法的AIにおけるそのような推論失敗を特定し、修正する道筋を概説している。
  論文  参考訳（メタデータ） (2025-11-01T00:51:21Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Better Call GPT, Comparing Large Language Models Against Lawyers [0.0]
  本稿では,契約審査において,大規模言語モデルが人間の精度,速度,コスト効率を上回りうるかどうかを論じる。 スピードでは、LSMは人間に必要な時間を取り除き、ほんの数秒でレビューを完了します。 コスト面では、LSMは価格のごく一部で運用されており、従来の方法よりも99.97パーセントのコスト削減を実現している。
  論文  参考訳（メタデータ） (2024-01-24T03:53:28Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• Large Language Models are legal but they are not: Making the case for a powerful LegalLLM [0.0]
  最近のLarge Language Models(LLMs)の急増は、法的領域にNLPを適用する新たな機会を提供し始めている。 契約条件分類のためのLexGLUEベンチマークのLEDGARサブセットにおける汎用LLM(ChatGPT-20b, LLaMA-2-70b, Falcon-180b)のゼロショット性能を比較した。 LLMは法的なデータで明示的に訓練されていないが、ほとんどの場合、そのテーマを正しく分類することが可能である。
  論文  参考訳（メタデータ） (2023-11-15T11:50:10Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。