論文の概要: Continual Pre-Training is (not) What You Need in Domain Adaption

• arxiv url: http://arxiv.org/abs/2504.13603v1
• Date: Fri, 18 Apr 2025 10:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:16:41.035482
• Title: Continual Pre-Training is (not) What You Need in Domain Adaption
• Title（参考訳）: 継続的事前トレーニングはドメイン適応に必要なもの(ではない)
• Authors: Pin-Er Chen, Da-Chen Lian, Shu-Kai Hsieh, Sieh-Chuen Huang, Hsuan-Lei Shao, Jun-Wei Chiu, Yang-Hsien Lin, Zih-Ching Chen, Cheng-Kuang, Eddie TC Huang, Simon See,
• Abstract要約: 本稿では,法定大言語モデル(LLM)の法的推論能力向上におけるDACP(Domain-Adaptive Continual Pre-Training)の有効性について検討する。 DACPはドメイン固有の知識を高めるが、すべての法的タスクにおけるパフォーマンスを均一に改善するわけではないことを実証する。 本稿では,DACPに関わるトレードオフ,特にモデル一般化と迅速なタスクのパフォーマンスへの影響について論じ,法的なAIにおけるドメイン適応戦略を最適化するための今後の研究の方向性を提案する。
• 参考スコア（独自算出の注目度）: 5.64352123192466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advances in Legal Large Language Models (LLMs) have transformed the landscape of legal research and practice by automating tasks, enhancing research precision, and supporting complex decision-making processes. However, effectively adapting LLMs to the legal domain remains challenging due to the complexity of legal reasoning, the need for precise interpretation of specialized language, and the potential for hallucinations. This paper examines the efficacy of Domain-Adaptive Continual Pre-Training (DACP) in improving the legal reasoning capabilities of LLMs. Through a series of experiments on legal reasoning tasks within the Taiwanese legal framework, we demonstrate that while DACP enhances domain-specific knowledge, it does not uniformly improve performance across all legal tasks. We discuss the trade-offs involved in DACP, particularly its impact on model generalization and performance in prompt-based tasks, and propose directions for future research to optimize domain adaptation strategies in legal AI.
• Abstract（参考訳）: 法学大言語モデル(LLM)の最近の進歩は、タスクの自動化、研究精度の向上、複雑な意思決定プロセスのサポートによって、法学研究と実践の展望を変えてきた。 しかし、法的推論の複雑さ、専門用語の正確な解釈の必要性、幻覚の可能性により、LLMを法的領域に効果的に適用することは依然として困難である。 本稿では,LLMの法的推論能力向上におけるDACP(Domain-Adaptive Continual Pre-Training)の有効性について検討する。 台湾の法律枠組みにおける法的推論タスクに関する一連の実験を通じて、DACPはドメイン固有の知識を高めつつも、すべての法的タスクにおけるパフォーマンスを均一に改善するわけではないことを実証した。 本稿では,DACPに関わるトレードオフ,特にモデル一般化と迅速なタスクのパフォーマンスへの影響について論じ,法的なAIにおけるドメイン適応戦略を最適化するための今後の研究の方向性を提案する。

関連論文リスト

• A Survey on Post-training of Large Language Models [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• ALKAFI-LLAMA3: Fine-Tuning LLMs for Precise Legal Understanding in Palestine [0.0]
  本研究は,パレスチナの法域に大規模言語モデルを適用することの課題に対処する。 政治的不安定、断片化された法的なフレームワーク、限られたAIリソースは、効果的な機械学習アプリケーションを妨げる。 Llama-3.2-1B-Instructの量子化バージョンに基づく微調整モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-19T11:55:51Z)
• Can Large Language Models Grasp Legal Theories? Enhance Legal Reasoning with Insights from Multi-Agent Collaboration [27.047809869136458]
  大きな言語モデル(LLM)は、法的理論を完全に理解し、法的推論タスクを実行するのに苦労する可能性がある。 法理論と推論能力に対するLLMの理解をよりよく評価するための課題(電荷予測の解釈)を導入する。 複雑な法的推論機能を改善するためのマルチエージェントフレームワークも提案する。
  論文  参考訳（メタデータ） (2024-10-03T14:15:00Z)
• Optimizing Numerical Estimation and Operational Efficiency in the Legal Domain through Large Language Models [13.067312163677933]
  本稿では,Large Language Modelsと特殊設計のプロンプトを統合して,法的な人工知能(LegalAI)アプリケーションにおける精度要件に対処する手法を提案する。 本手法を検証するために,精度指向の LegalAI タスクに適したキュレートデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:46:39Z)
• Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction [23.046342240176575]
  人間の推論に触発されたAsk-Discriminate-Predict(ADAPT)推論フレームワークを紹介する。 ADAPTは、ケース事実を分解し、潜在的な電荷を識別し、最終的な判断を予測する。 広く利用されている2つのデータセットに対して行われた実験は、法的な判断予測において、我々のフレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-02T05:43:15Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence [5.07013500385659]
  本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。 実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。 発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
  論文  参考訳（メタデータ） (2023-06-12T12:40:48Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。