論文の概要: CitaLaw: Enhancing LLM with Citations in Legal Domain

• arxiv url: http://arxiv.org/abs/2412.14556v1
• Date: Thu, 19 Dec 2024 06:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:08.626846
• Title: CitaLaw: Enhancing LLM with Citations in Legal Domain
• Title（参考訳）: CitaLaw: 法律領域におけるCitationによるLLMの強化
• Authors: Kepu Zhang, Weijie Yu, Sunhao Dai, Jun Xu,
• Abstract要約: CitaLaw は LLM が適切な引用で合法的に音声応答を生成できる能力を評価するために設計された最初のベンチマークである。 CitaLawは、法記事の包括的コーパスと、前例をリファレンスプールとして組み合わせた、平民と実践者の両方に多様な法的質問を特徴としている。
• 参考スコア（独自算出の注目度）: 5.249003454314636
• License:
• Abstract: In this paper, we propose CitaLaw, the first benchmark designed to evaluate LLMs' ability to produce legally sound responses with appropriate citations. CitaLaw features a diverse set of legal questions for both laypersons and practitioners, paired with a comprehensive corpus of law articles and precedent cases as a reference pool. This framework enables LLM-based systems to retrieve supporting citations from the reference corpus and align these citations with the corresponding sentences in their responses. Moreover, we introduce syllogism-inspired evaluation methods to assess the legal alignment between retrieved references and LLM-generated responses, as well as their consistency with user questions. Extensive experiments on 2 open-domain and 7 legal-specific LLMs demonstrate that integrating legal references substantially enhances response quality. Furthermore, our proposed syllogism-based evaluation method exhibits strong agreement with human judgments.
• Abstract（参考訳）: 本稿では,LLMが適切な引用で合法的に音声応答を生成できる能力を評価するための最初のベンチマークであるCitaLawを提案する。 CitaLawは、法記事の包括的コーパスと、前例をリファレンスプールとして組み合わせた、平民と実践者の両方に多様な法的質問を特徴としている。 このフレームワークにより、LLMベースのシステムは、参照コーパスからサポートされた引用を検索し、これらの引用を応答中の対応する文と整列させることができる。 さらに,Syllogismに着想を得た評価手法を導入し,検索した参照とLCM生成応答との法的整合性を評価するとともに,ユーザの質問に対する一貫性を評価する。 2つのオープンドメインと7つの法的な LLM に関する大規模な実験は、法的な参照を統合することで、応答品質が大幅に向上することを示した。 さらに,本提案手法は人的判断と強い一致を示した。

関連論文リスト

• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• RevisEval: Improving LLM-as-a-Judge via Response-Adapted References [95.29800580588592]
  RevisEvalは、応答適応参照による新しいテキスト生成評価パラダイムである。 RevisEvalは、理想的な参照が評価される応答に対する必要な関連性を維持するべきであるというキーオブザーバーによって駆動される。
  論文  参考訳（メタデータ） (2024-10-07T16:50:47Z)
• ELLA: Empowering LLMs for Interpretable, Accurate and Informative Legal Advice [26.743016561520506]
  ELLA は bf 法 bf 法 bf 法 bf 法 法 bf 法 法 bf 法 bf 法 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法 bf 法
  論文  参考訳（メタデータ） (2024-08-13T18:12:00Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• (A)I Am Not a Lawyer, But...: Engaging Legal Experts towards Responsible LLM Policies for Legal Advice [8.48013392781081]
  大規模言語モデル(LLM)は、法的なアドバイスを含む幅広い専門分野のアドバイスをユーザに提供しやすくなっている。 ケースベース推論にインスパイアされた手法を用いて,20名の法律専門家とワークショップを行った。 以上より,無許可の法律実務,機密性,不正確な助言に対する責任など,新たな法的考慮事項が明らかになった。
  論文  参考訳（メタデータ） (2024-02-02T19:35:34Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。