論文の概要: Evaluation Ethics of LLMs in Legal Domain

• arxiv url: http://arxiv.org/abs/2403.11152v1
• Date: Sun, 17 Mar 2024 09:05:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 18:15:50.946933
• Title: Evaluation Ethics of LLMs in Legal Domain
• Title（参考訳）: 法律領域におけるLCMの評価倫理
• Authors: Ruizhe Zhang, Haitao Li, Yueyue Wu, Qingyao Ai, Yiqun Liu, Min Zhang, Shaoping Ma,
• Abstract要約: 本稿では,大規模言語モデル (LLM) の基本的言語能力, 専門的法的知識, 法的堅牢性を評価するために, 真正の法的事例を利用する新規性評価手法を提案する。 包括的評価から得られた知見は,法律領域における大規模言語モデルの適合性と性能に関する学術的議論に大きく貢献する。
• 参考スコア（独自算出の注目度）: 35.725470391038264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the utilization of large language models for natural language dialogue has gained momentum, leading to their widespread adoption across various domains. However, their universal competence in addressing challenges specific to specialized fields such as law remains a subject of scrutiny. The incorporation of legal ethics into the model has been overlooked by researchers. We asserts that rigorous ethic evaluation is essential to ensure the effective integration of large language models in legal domains, emphasizing the need to assess domain-specific proficiency and domain-specific ethic. To address this, we propose a novelty evaluation methodology, utilizing authentic legal cases to evaluate the fundamental language abilities, specialized legal knowledge and legal robustness of large language models (LLMs). The findings from our comprehensive evaluation contribute significantly to the academic discourse surrounding the suitability and performance of large language models in legal domains.
• Abstract（参考訳）: 近年,自然言語対話における大規模言語モデルの利用が勢いを増し,様々な領域で広く普及している。 しかし、法律のような専門分野に特有な課題に対処する普遍的な能力は、依然として精査の対象である。 モデルへの法的倫理の組み入れは研究者によって見過ごされてきた。 我々は、法律ドメインにおける大規模言語モデルの効果的な統合を保証するためには厳密な倫理評価が不可欠であり、ドメイン固有の習熟度とドメイン固有の倫理を評価する必要性を強調している。 そこで本稿では,大規模言語モデル (LLM) の基本的言語能力, 専門的法的知識, 法的堅牢性を評価するために, 真正の法的事例を活用した新規性評価手法を提案する。 包括的評価から得られた知見は,法律領域における大規模言語モデルの適合性と性能に関する学術的議論に大きく貢献する。

関連論文リスト

• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• Natural Language Processing for the Legal Domain: A Survey of Tasks, Datasets, Models, and Challenges [4.548047308860141]
  自然言語処理は、法律専門家や法務担当者の法務分野における活動の仕方に革命をもたらしている。 本調査では,手動フィルタリング後の127項目を最終選択として,システムレビューとメタアナライズフレームワークの優先報告項目に従って,148の研究をレビューした。 法律分野における自然言語処理に関する基礎概念を探求する。
  論文  参考訳（メタデータ） (2024-10-25T01:17:02Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Enhancing Pre-Trained Language Models with Sentence Position Embeddings for Rhetorical Roles Recognition in Legal Opinions [0.16385815610837165]
  法的意見の規模は増え続けており、法的意見の修辞的役割を正確に予測できるモデルを開発することはますます困難になっている。 本稿では,文の位置情報に関する知識によって強化された事前学習言語モデル(PLM)を用いて,修辞的役割を自動的に予測する新しいモデルアーキテクチャを提案する。 LegalEval@SemEval2023コンペティションの注釈付きコーパスに基づいて、我々のアプローチではパラメータが少なく、計算コストが低下することを示した。
  論文  参考訳（メタデータ） (2023-10-08T20:33:55Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• LexGLUE: A Benchmark Dataset for Legal Language Understanding in English [15.026117429782996]
  我々は,多種多様なNLUタスクのモデル性能を評価するためのデータセットの集合であるLexGLUEベンチマークを紹介する。 また、複数の汎用的および法的指向モデルの評価と分析を行い、後者が複数のタスクにまたがるパフォーマンス改善を一貫して提供することを示した。
  論文  参考訳（メタデータ） (2021-10-03T10:50:51Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)
• On the Ethical Limits of Natural Language Processing on Legal Text [9.147707153504117]
  自然言語処理システムの使用に対する倫理的限界を特定する上で、研究者は苦戦していると論じている。 我々は、現在の議論によって過小評価された3つの重要な規範的パラメータに重点を置く。 これら3つのパラメータのそれぞれについて、法的NLPコミュニティに具体的な推奨事項を提供します。
  論文  参考訳（メタデータ） (2021-05-06T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。