論文の概要: Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering

• arxiv url: http://arxiv.org/abs/2501.06521v1
• Date: Sat, 11 Jan 2025 12:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:26:05.259005
• Title: Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering
• Title（参考訳）: 法的質問応答におけるファクチュアリティ向上のための微調整大言語モデル
• Authors: Yinghao Hu, Leilei Gan, Wenyi Xiao, Kun Kuang, Fei Wu,
• Abstract要約: 幻覚(英: Hallucination、または誤った情報や偽造情報の生成)は、大きな言語モデルにおいて重要な課題である。 行動クローニングと新しいハードサンプル認識反復的直接選好最適化(HIPO)を統合した幻覚緩和手法を提案する。 本研究は,新たに提案された非半減期統計率など,様々な指標において顕著な改善を示すものである。
• 参考スコア（独自算出の注目度）: 30.795942355722797
• License:
• Abstract: Hallucination, or the generation of incorrect or fabricated information, remains a critical challenge in large language models (LLMs), particularly in high-stake domains such as legal question answering (QA). In order to mitigate the hallucination rate in legal QA, we first introduce a benchmark called LegalHalBench and three automatic metrics to evaluate the common hallucinations when LLMs answer legal questions. We then propose a hallucination mitigation method that integrates behavior cloning and a novel Hard Sample-aware Iterative Direct Preference Optimization (HIPO). We conduct extensive real-data experiments to validate the effectiveness of our approach. Our results demonstrate remarkable improvements in various metrics, including the newly proposed Non-Hallucinated Statute Rate, Statute Relevance Rate, Legal Claim Truthfulness, as well as traditional metrics such as METEOR, BERTScore, ROUGE-L, and win rates.
• Abstract（参考訳）: 幻覚(英: Hallucination)とは、大きな言語モデル(LLM)、特に法的質問応答(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版) (QA) のような高度な領域において重要な課題である。 法的なQAにおける幻覚率を緩和するために,まずLegalHalBenchというベンチマークと,LLMが法的な疑問に答えたときに共通幻覚を評価するための3つの自動測定指標を導入する。 次に,行動クローニングと新しいHIPO(Hard Sample-aware Iterative Direct Preference Optimization)を統合する幻覚緩和法を提案する。 我々は、我々のアプローチの有効性を検証するために、広範囲な実データ実験を行う。 本研究の結果は, 新たに提案された非法定法定率, 法令関連率, 法定クレーム真理性, METEOR, BERTScore, ROUGE-L, 勝率など, 様々な指標において顕著な改善が見られた。

関連論文リスト

• HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
  本稿では,HuDExと命名された幻覚検出モデルについて説明する。 提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
  論文  参考訳（メタデータ） (2025-02-12T04:17:02Z)
• Methods for Legal Citation Prediction in the Age of LLMs: An Australian Law Case Study [9.30538764385435]
  我々は、関連する法律や前例を正しく特定し、引用することが重要であるオーストラリアの法律文脈における法的引用予測の問題に焦点を当てる。 本研究は, ドメイン固有の事前訓練だけでは, 法定事前訓練後であっても, 良好な励磁精度が得られていないことを示唆する。 対照的に、タスク固有のデータセットのインストラクションチューニングは、すべての設定で最高の結果に達するパフォーマンスを劇的に向上させます。
  論文  参考訳（メタデータ） (2024-12-09T07:46:14Z)
• The Factuality of Large Language Models in the Legal Domain [8.111302195052641]
  本稿では,法域における知識基盤としての大規模言語モデル(LLM)の事実性について検討する。 事例法と法律に関する多様な事実質問のデータセットを設計する。 次に、データセットを用いて、精度、エイリアス、ファジィマッチングなど、異なる評価手法で複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-09-18T08:30:20Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• Fine-Grained Self-Endorsement Improves Factuality and Reasoning [72.83651220132495]
  本研究は, 大規模言語モデル (LLM) 世代を推定時に改善するために, ファクト・コンプレッション・幻覚を緩和する。 本稿では,複数のサンプル応答におけるファクトレベルの詳細な比較を生かした自己組織化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:24:40Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Chainpoll: A high efficacy method for LLM hallucination detection [0.0]
  そこで我々はChainPollという幻覚検出手法を紹介した。 我々はまた、最近の研究から幻覚検出指標を評価するためのベンチマークデータセットの洗練されたコレクションであるRealHallも公開した。
  論文  参考訳（メタデータ） (2023-10-22T14:45:14Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
  そこで我々はMixCLという対照的な学習手法を提案する。 LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。 我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-12-20T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。