論文の概要: Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law

• arxiv url: http://arxiv.org/abs/2601.14160v1
• Date: Tue, 20 Jan 2026 17:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.424021
• Title: Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law
• Title（参考訳）: 合成データによるドメイン適応:ドイツ法のための微調整大言語モデル
• Authors: Ali Hamza Bashir, Muhammad Rehan Khalid, Kostadin Cvejoski, Jana Birr, Jule Berghaus, Armin Berger, Sandra Halscheidt, Christian Temath, Rafet Sifa, David Berghaus,
• Abstract要約: 大規模言語モデル(LLM)は、専門知識が限られているため、法的推論のような専門分野に苦しむことが多い。 本稿では, 新たな合成データ生成手法を用いて, ドイツの法的問題に高度LLMを適応させる効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 4.0979083977801105
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) often struggle in specialized domains such as legal reasoning due to limited expert knowledge, resulting in factually incorrect outputs or hallucinations. This paper presents an effective method for adapting advanced LLMs to German legal question answering through a novel synthetic data generation approach. In contrast to costly human-annotated resources or unreliable synthetic alternatives, our approach systematically produces high-quality, diverse, and legally accurate question-answer pairs directly from authoritative German statutes. Using rigorous automated filtering methods and parameter-efficient fine-tuning techniques, we demonstrate that LLMs adapted with our synthetic dataset significantly outperform their baseline counterparts on German legal question answering tasks. Our results highlight the feasibility of using carefully designed synthetic data as a robust alternative to manual annotation in high-stakes, knowledge-intensive domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、専門家の知識が限られているために法的推論のような専門分野に苦しむことが多く、結果として事実的に誤ったアウトプットや幻覚をもたらす。 本稿では, 新たな合成データ生成手法により, ドイツの法的問題に高度LLMを適応させる有効な方法を提案する。 コストのかかる人為的なリソースや信頼性の低い合成代替品とは対照的に,我々の手法は,権威のあるドイツの法令から直接,高品質で多種多様で法的に正確な質問応答ペアを体系的に生成する。 厳密な自動フィルタリング手法とパラメータ効率のよい微調整手法を用いて、我々の合成データセットに適合したLCMが、ドイツの法的な質問応答タスクにおいて、ベースラインよりも大幅に優れていたことを実証した。 本研究は,高度知識集約ドメインにおける手動アノテーションの頑健な代替として,慎重に設計した合成データを使用することの可能性を強調した。

関連論文リスト

• Synthetic Data Generation Using Large Language Models: Advances in Text and Code [0.0]
  大規模言語モデル(LLM)は、自然言語とコードドメインの両方で合成トレーニングデータ生成を変換している。 我々は、プロンプトベースの生成、検索拡張パイプライン、反復的な自己精製といった重要なテクニックを強調した。 本稿では,生成テキストにおける事実的不正確性,文体的あるいは分布的リアリズムの不足,バイアス増幅のリスクなど,関連する課題について論じる。
  論文  参考訳（メタデータ） (2025-03-18T08:34:03Z)
• Improving Vietnamese Legal Document Retrieval using Synthetic Data [0.0]
  大きな注釈付きデータセットの不足は、特にベトナムの法律文書にとって大きな課題となっている。 本稿では,ベトナムの法律文に対する高品質で多様な合成クエリを生成するために,大規模言語モデルを活用した新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-01T03:28:26Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。