論文の概要: Auditing Chatbots for Incursion into Professional Legal Practice
- arxiv url: http://arxiv.org/abs/2611.17622v1
- Date: Fri, 13 Nov 2026 00:46:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.282863
- Title: Auditing Chatbots for Incursion into Professional Legal Practice
- Title(参考訳): 専門法実務への導入のためのチャットボットの監査
- Abstract要約: 法的助言の条項は、長い間、認可された弁護士の排他的管轄下にあった。
この境界線は、裁判所や司法当局ではなく、フロンティアAI企業によって再検討されていると我々は主張する。
- 参考スコア(独自算出の注目度): 1.489293538667382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The provision of legal advice has long been in the exclusive jurisdiction of licensed attorneys-a boundary that unauthorized practice of law (UPL) doctrine maintains to protect the public from incompetent counsel. We argue that this boundary is being redrawn, not by courts or bar authorities, but by frontier AI companies. While early chat models were trained to avoid dispensing legal advice, modern models have been reconfigured to reduce refusals and prioritize helpfulness. We ask whether chatbots increasingly do tasks that require a law degree and bar admission, and whether this is harmful in high-stakes legal domains. We develop UPLBench, a benchmark derived from court decisions finding UPL in high-stakes legal domains (e.g., immigration, family law). We then audit 23 chatbot models dating from 2023 to present, evaluating whether chatbots refuse or provide substantive legal advice, and whether they refer users to lawyers or legal aid. Unlike prior work that aims to establish the legal capabilities of chatbots (e.g., bar exam performance), our approach converts legal doctrine into a testable benchmark for evaluating chatbot adherence to law. We find modern chatbots increasingly perform tasks courts reserve for lawyers and decreasingly recommend that users consult lawyers. Subject matter expert attorneys reviewing our transcripts identified interaction patterns, such as failure to elicit relevant facts, that would be considered inadequate counsel. If acted upon, such advice could lead to deportations, loss of homes, and family separations-the very harms that UPL rules are designed to protect against. We weigh paths forward to protect the public, including compelling models to comply with existing law. We call upon the legal profession to respond to this incursion into its domain of expertise as there are insufficient protections and remedies for users who rely on chatbot legal advice.
- Abstract(参考訳): 法的助言の条項は、長い間、認可された弁護士の排他的管轄下にあった - 非公認の法律の実践(UPL)の教義が、無能なカウンセリングから大衆を守るために維持している境界である。
この境界線は、裁判所や司法当局ではなく、フロンティアAI企業によって再検討されていると我々は主張する。
初期のチャットモデルは法的助言の排除を避けるために訓練されたが、現代のモデルは拒絶を減らし、役に立つことを優先するように再構成されている。
我々は、チャットボットが法学の学位と法曹の資格を必要とするタスクをますますこなすのか、そして、それが高額の法的ドメインにとって有害なのかを尋ねる。
UPLBenchは,高額な法的領域(移民,家族法など)におけるUPLの発見を裁判所の決定から導いたベンチマークである。
次に、2023年から現在までの23のチャットボットモデルを監査し、チャットボットが拒否するか、実質的な法的アドバイスを提供するか、そしてユーザーが弁護士や法的援助に言及しているかを評価する。
従来のチャットボットの法的な能力(例えば、司法試験成績)の確立を目的とした作業とは違って、我々の手法は、法的ドクトリンをテスト可能なベンチマークに変換して、チャットボットの法順性を評価する。
現代のチャットボットは、弁護士のためのタスクコート予約をますます実施し、ユーザーが弁護士に相談するように推奨する傾向にある。
論文をレビューする専門の弁護士は、関連する事実を導き出さないなど、不適切なカウンセリングと見なされるような相互作用パターンを特定できた。
このようなアドバイスが実行されれば、強制送還、住居の喪失、家族の離反につながる可能性がある。
既存の法律を遵守する説得力のあるモデルを含め、国民を守るための道筋を見据えている」と述べた。
われわれは、チャットボットの法的アドバイスに頼っているユーザーの保護と対策が不十分なため、この専門分野への侵入に対応するよう法律専門家に呼びかけている。
関連論文リスト
- Legal Guidance in the Wild: How Users Seek Legal Help in Real-World LLM Conversations [9.844587561630805]
人々は、法的結果をもたらす可能性のある法的権利、義務、手続き、個人的な状況について、会話型AIモデルに尋ねる。
我々は法的なガイダンスを求めるかどうかを判断する法的なクエリの多軸分類に貢献する。
私たちは200の会話からなる人間レビューされた金の評価セットを作成します。
論文 参考訳(メタデータ) (2026-10-18T10:31:38Z) - WisdomInterrogatory (LuWen): An Open-Source Legal Large Language Model Technical Report [55.27414605169639]
Wesdom Interrogatory (LuWen)は,バイチュン基礎モデルに基づいて構築された,オープンソースの中国語の法律モデルである。
予測と生成の両方にまたがる5つの代表的な法的課題についてLuWenを評価する。
論文 参考訳(メタデータ) (2026-04-08T06:59:07Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳(メタデータ) (2026-01-31T10:18:32Z) - LawPal : A Retrieval Augmented Generation Based System for Enhanced Legal Accessibility in India [0.0]
インドにおける法的な知識へのアクセスは、認識の欠如、誤報、司法資源へのアクセスの制限によってしばしば妨げられる。
本稿では,ベクトルストア指向FAISSを用いたRAGに基づく法定チャットボットを提案する。
我々のモデルは、法律書、公式文書、インド憲法を含む広範なデータセットを用いて訓練されている。
論文 参考訳(メタデータ) (2025-02-23T13:45:47Z) - The Ethics of Automating Legal Actors [58.81546227716182]
我々は、裁判官の役割の自動化は、特に一般的な法体系において、難しい倫理的課題を提起すると主張している。
我々の主張は、単に法律を適用するのではなく、法律を積極的に形成する際の裁判官の社会的役割から従う。
モデルが人間レベルの能力を達成できたとしても、法的プロセスの自動化に固有の倫理的懸念は残るだろう。
論文 参考訳(メタデータ) (2023-12-01T13:48:46Z) - Large Language Models in Cryptocurrency Securities Cases: Can a GPT
Model Meaningfully Assist Lawyers? [0.3441021278275805]
GPT-3.5の法的推論とChatGPTの法的な起草能力について検討した。
我々は実生活の事例からGPT-3.5に事実パターンを供給し、その可能性を正しく判断する能力を評価する。
第2に、ChatGPTと弁護士が書いた苦情を審査員に評価させた。
論文 参考訳(メタデータ) (2023-08-11T09:23:11Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z) - How Does NLP Benefit Legal System: A Summary of Legal Artificial
Intelligence [81.04070052740596]
法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。
本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
論文 参考訳(メタデータ) (2020-04-25T14:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。