論文の概要: LLMs Prompted for Legal Context Object More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context

• arxiv url: http://arxiv.org/abs/2606.24585v1
• Date: Tue, 23 Jun 2026 13:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.972285
• Title: LLMs Prompted for Legal Context Object More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context
• Title（参考訳）: 法律的文脈オブジェクトのためのLLM:刑事法的文脈における小オンプレミスLLMの拒絶
• Authors: Anastasiia Kucherenko, François Brouchoud, Dimitri Percia David, Andrei Kucharavy,
• Abstract要約: オーソリティスタイルの接頭辞は,no-playベースラインに対して2-20倍の拒絶率を示す。 既知のロールプレイプレフィックスは、混合効果を示し、いくつかのモデルでは拒絶が急激に増加し、他のモデルではほとんど変化しない。 この発見は、実際の機関ユーザが自然に導入するかもしれない文脈的フレーミングの下で、小規模のオンプレミスデプロイ可能なLDMが不安定であることを示している。
• 参考スコア（独自算出の注目度）: 0.05999777817331315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the validity of LLMs' use in the legal context remains subject to ethical and legal debate, legal professionals are already experimenting with personal LLMs, if only for translation and reformulation. However, even such a seemingly innocuous use can introduce biases through case processing speed if LLM assistants selectively refuse assistance on certain topics. To better anticipate such biases, we investigate several modern small LLMs that are most likely to be used as on-device assistants, to assess the impact of overrefusal on legal prompts. Surprisingly, we find that authority-style prefixes (``you are acting as an assistant of the national supreme court'', ``[...] defense lawyer'') systematically increase refusal rates by 2--20x over the no-prefix baseline, while a known role-play jailbreak prefix shows mixed effects, sharply increasing refusals in some models and barely shifting them in others. The finding suggests that small on-prem deployable LLMs are unstable under contextual framings that a real institutional user might naturally introduce, and further investigation is essential to minimize opportunities for bias.
• Abstract（参考訳）: 法的文脈におけるLLMの使用の妥当性は、倫理的および法的議論の対象であるが、法律専門家は翻訳と改定のためだけに、既に個人的なLLMを実験している。 しかし、このような一見無害な使用であっても、LLMアシスタントが特定のトピックに対する支援を選択的に拒否した場合、ケース処理速度を通じてバイアスを発生させる可能性がある。 このようなバイアスをより正確に予測するために、デバイス上でのアシスタントとして使用される可能性が最も高い、現代の小型LCMを調査し、法的なプロンプトに対する過度な拒絶の影響を評価する。 驚いたことに、権限型プレフィックス(`you are act as a assistant of the National Supreme Court', ``[...] Defense lawyer'')は、非修正ベースラインの2-20倍の拒絶率を体系的に増加させ、既知のロールプレイのジェイルブレイクプレフィックスは、複雑な効果を示し、一部のモデルでは拒絶を急激に増加し、他のモデルではほとんど変化しない。 この発見は、実際の機関ユーザーが自然に導入するかもしれない文脈的フレーミングの下で、小規模のオンプレミス展開可能なLDMが不安定であることを示し、さらなる調査はバイアスの機会を最小限に抑えるために不可欠である。

関連論文リスト

• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• Jailbreaking Large Language Models Through Alignment Vulnerabilities in Out-of-Distribution Settings [57.136748215262884]
  本稿では,ObscurePrompt for jailbreaking LLMを紹介し,OOD(Out-of-Distribution)データにおける脆弱なアライメントに着想を得た。 まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。 本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-19T16:09:58Z)
• Better Call GPT, Comparing Large Language Models Against Lawyers [0.0]
  本稿では,契約審査において,大規模言語モデルが人間の精度,速度,コスト効率を上回りうるかどうかを論じる。 スピードでは、LSMは人間に必要な時間を取り除き、ほんの数秒でレビューを完了します。 コスト面では、LSMは価格のごく一部で運用されており、従来の方法よりも99.97パーセントのコスト削減を実現している。
  論文  参考訳（メタデータ） (2024-01-24T03:53:28Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。