論文の概要: (A)I Am Not a Lawyer, But...: Engaging Legal Experts towards Responsible
LLM Policies for Legal Advice
- arxiv url: http://arxiv.org/abs/2402.01864v1
- Date: Fri, 2 Feb 2024 19:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:53:25.842742
- Title: (A)I Am Not a Lawyer, But...: Engaging Legal Experts towards Responsible
LLM Policies for Legal Advice
- Title(参考訳): (A)私は弁護士ではない。しかし...--法律専門家が法務顧問の責任あるLCM政策にむけて
- Authors: Inyoung Cheong, King Xia, K.J. Kevin Feng, Quan Ze Chen, Amy X. Zhang
- Abstract要約: 大規模言語モデル (LLMs) は、法律、医学、金融の専門的な指導のために、ますます一般に利用されるようになった。
大規模言語モデル(LLMs)の急速な普及は、法律、医学、金融の専門的ガイダンスへのアクセス拡大に期待を喚起する。
ケースベース推論にインスパイアされた手法を用いて,LLMを専門的なアドバイスとして利用する際の,曖昧な政策上の考慮事項を明らかにするために,構造化された専門家分析に貢献する。
- 参考スコア(独自算出の注目度): 9.097877374792576
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rapid proliferation of large language models (LLMs) as general purpose
chatbots available to the public raises hopes around expanding access to
professional guidance in law, medicine, and finance, while triggering concerns
about public reliance on LLMs for high-stakes circumstances. Prior research has
speculated on high-level ethical considerations but lacks concrete criteria
determining when and why LLM chatbots should or should not provide professional
assistance. Through examining the legal domain, we contribute a structured
expert analysis to uncover nuanced policy considerations around using LLMs for
professional advice, using methods inspired by case-based reasoning. We
convened workshops with 20 legal experts and elicited dimensions on appropriate
AI assistance for sample user queries (``cases''). We categorized our expert
dimensions into: (1) user attributes, (2) query characteristics, (3) AI
capabilities, and (4) impacts. Beyond known issues like hallucinations, experts
revealed novel legal problems, including that users' conversations with LLMs
are not protected by attorney-client confidentiality or bound to professional
ethics that guard against conflicted counsel or poor quality advice. This
accountability deficit led participants to advocate for AI systems to help
users polish their legal questions and relevant facts, rather than recommend
specific actions. More generally, we highlight the potential of case-based
expert deliberation as a method of responsibly translating professional
integrity and domain knowledge into design requirements to inform appropriate
AI behavior when generating advice in professional domains.
- Abstract(参考訳): 一般向けチャットボットとしての大規模言語モデル(LLM)の急速な普及は、法律、医療、金融のプロフェッショナルガイダンスへのアクセスを拡大し、高い状況下でのLLMへの公衆依存を懸念する声が高まっている。
先行研究は高いレベルの倫理的考察を推測しているが、llmチャットボットが専門的な支援を提供するべきかどうかを判断する具体的な基準が欠けている。
法的ドメインを調べることで,事例に基づく推論に触発された手法を用いて,llmを専門的アドバイスに使用する際のニュアンス的ポリシーを解明するために,構造化された専門家分析を行う。
私たちは20人の法律専門家とワークショップを開き、サンプルユーザクエリ(`cases'')に適切なai支援を施した。
1) ユーザ属性, (2) クエリ特性, (3) ai能力, (4) 影響の3つに分類した。
幻覚のような既知の問題以外にも、専門家は、llmとの会話が弁護士と依頼人の機密性によって保護されないことや、対立する弁護士や質の悪い助言から守る専門的な倫理に縛られることなど、新しい法的問題を明らかにしている。
この説明責任の欠如により、参加者は特定の行動を推奨するのではなく、ユーザーが法的問題や関連する事実を洗練するためのAIシステムを支持するようになった。
より一般的には、プロフェッショナルドメインのアドバイスを生成する際に適切なAI行動を伝えるために、専門的整合性とドメイン知識を設計要求に責任を持って翻訳する手法として、ケースベースの専門家による検討の可能性を強調します。
関連論文リスト
- A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。
我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。
これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文 参考訳(メタデータ) (2024-05-02T22:43:02Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳(メタデータ) (2024-04-04T16:40:11Z) - BLT: Can Large Language Models Handle Basic Legal Text? [50.46167465931653]
GPT-4、Claude、PaLM 2は基本的な法的テキスト処理では性能が良くない。
これらのタスクの微調整は、テストセット上でのほぼ完全なパフォーマンスにさらに小さなモデルをもたらします。
論文 参考訳(メタデータ) (2023-11-16T09:09:22Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳(メタデータ) (2023-10-18T07:38:04Z) - LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。
われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
論文 参考訳(メタデータ) (2023-10-09T11:19:55Z) - LawBench: Benchmarking Legal Knowledge of Large Language Models [35.2812008533622]
大規模言語モデル(LLM)は様々な面で強力な能力を示している。
法的知識がどの程度あるか、そして法的関連タスクを確実に実行できるかは不明だ。
ローベンチは、3つの認知レベルからLLMの法的な能力を正確に評価するために細心の注意を払って設計されている。
論文 参考訳(メタデータ) (2023-09-28T09:35:59Z) - LegalBench: A Collaboratively Built Benchmark for Measuring Legal
Reasoning in Large Language Models [15.98468948605927]
LegalBenchは6種類の法的推論をカバーする162のタスクからなるベンチマークである。
本稿では、LegalBenchについて述べるとともに、20のオープンソースおよび商用LCMの実証的な評価を行い、LegalBenchがもたらす研究のタイプについて説明する。
論文 参考訳(メタデータ) (2023-08-20T22:08:03Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - Large Language Models as Tax Attorneys: A Case Study in Legal
Capabilities Emergence [5.07013500385659]
本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。
実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。
発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
論文 参考訳(メタデータ) (2023-06-12T12:40:48Z) - How Does NLP Benefit Legal System: A Summary of Legal Artificial
Intelligence [81.04070052740596]
法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。
本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
論文 参考訳(メタデータ) (2020-04-25T14:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。