論文の概要: Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization
- arxiv url: http://arxiv.org/abs/2603.19251v1
- Date: Wed, 25 Feb 2026 06:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:12.778284
- Title: Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization
- Title(参考訳): メタデータ強化RAGパイプラインによる法律LLMの強化と直接選好最適化
- Authors: Suyash Maniyar, Deepali Singh, Rohith Reddy,
- Abstract要約: LLM(Large Language Models)は、短い文脈でよく機能するが、長い法律文書では劣化する。
精度が重要な法的領域では、そのようなエラーは信頼性と信頼を損なう。
法定コーパスにおける語彙冗長性による検索誤りと、文脈不足にもかかわらずモデルが回答を生成するデコード誤りの2つの障害モードを同定する。
- 参考スコア(独自算出の注目度): 0.3823356975862005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) perform well in short contexts but degrade on long legal documents, often producing hallucinations such as incorrect clauses or precedents. In the legal domain, where precision is critical, such errors undermine reliability and trust. Retrieval Augmented Generation (RAG) helps ground outputs but remains limited in legal settings, especially with small, locally deployed models required for data privacy. We identify two failure modes: retrieval errors due to lexical redundancy in legal corpora, and decoding errors where models generate answers despite insufficient context. To address this, we propose Metadata Enriched Hybrid RAG to improve document level retrieval, and apply Direct Preference Optimization (DPO) to enforce safe refusal when context is inadequate. Together, these methods improve grounding, reliability, and safety in legal language models.
- Abstract(参考訳): LLM(Large Language Models)は短い文脈でよく機能するが、長い法律文書に分解され、しばしば誤った節や前例のような幻覚を生じる。
精度が重要な法的領域では、そのようなエラーは信頼性と信頼を損なう。
Retrieval Augmented Generation (RAG)は、地上出力を支援するが、特にデータプライバシに必要な、小さなローカルにデプロイされたモデルにおいて、法的な設定で制限されている。
法定コーパスにおける語彙冗長性による検索誤りと、文脈不足にもかかわらずモデルが回答を生成するデコードエラーの2つの障害モードを同定する。
そこで本稿では,文書レベルの検索を改善するためのメタデータ強化ハイブリッドRAGを提案し,コンテキストが不十分な場合には直接参照最適化(DPO)を適用する。
これらの手法は、法律言語モデルの基盤化、信頼性、安全性を向上させる。
関連論文リスト
- Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model [99.16364381244445]
現代の言語モデル(LM)は、トレーニングデータの一部を記憶し、動詞のスパンを出力する傾向がある。
提案するAnchored Decodingは,動詞の模倣を抑えるためのプラグアンドプレイ推論時間法である。
本手法は,著作権リスクとユーティリティの長期評価において,6組のモデルペアで評価する。
論文 参考訳(メタデータ) (2026-02-06T19:00:14Z) - Towards Reliable Retrieval in RAG Systems for Large Legal Datasets [6.376251215279889]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を緩和するための有望なアプローチである
これは、構造的に類似したドキュメントの大規模なデータベースが、しばしば検索システムに障害を引き起こす、法的領域において特に困難である。
文書レベルの合成要約で各テキストチャンクを拡大する,単純で効率的な手法について検討する。
我々の研究は、この実用的でスケーラブルで、容易に統合可能な手法が、大規模法的文書データセットに適用した場合、RAGシステムの信頼性を高める証拠を提供する。
論文 参考訳(メタデータ) (2025-10-08T13:22:20Z) - ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search [69.60882125603133]
本稿では,検索した文書の信頼性情報を明確に活用する,敵対的堅牢性のためのフレームワークであるReliabilityRAGを提案する。
我々の研究は、RAGの回収されたコーパスの腐敗に対するより効果的で確実に堅牢な防御に向けた重要な一歩である。
論文 参考訳(メタデータ) (2025-09-27T22:36:42Z) - Nine Ways to Break Copyright Law and Why Our LLM Won't: A Fair Use Aligned Generation Framework [7.941114118462577]
大規模言語モデル (LLM) は、保護されたコンテンツを冗長に再現したり、変換に不十分な修正を加えて著作権侵害を犯すのが一般的である。
我々は、LLM出力とフェアユース・ドクトリンとの整合性を明示的に設計した法的基盤の枠組みを開発する。
FuA-LLMは最先端のアプローチと比較して、問題のある出力(最大20%)を大幅に削減する。
論文 参考訳(メタデータ) (2025-05-25T12:23:26Z) - Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。
そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
論文 参考訳(メタデータ) (2025-04-14T09:03:51Z) - Reliable Decision Making via Calibration Oriented Retrieval Augmented Generation [30.830648083015607]
大規模言語モデルが自信を持って誤った情報を提供すると、人間に最適な決定を下すことになる。
本稿では、RAG による決定が適切に校正されていることを保証するCalibrated Retrieval-Augmented Generation (CalibRAG)を提案する。
論文 参考訳(メタデータ) (2024-10-28T06:41:05Z) - Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。
得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。
MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文 参考訳(メタデータ) (2024-05-26T00:29:04Z) - SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [159.21914121143885]
推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。
SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。
データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
論文 参考訳(メタデータ) (2023-08-08T17:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。