論文の概要: Supervised Fine Tuning of Large Language Models for Domain Specific Knowledge Graph Construction:A Case Study on Hunan's Historical Celebrities

• arxiv url: http://arxiv.org/abs/2511.17012v1
• Date: Fri, 21 Nov 2025 07:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.924317
• Title: Supervised Fine Tuning of Large Language Models for Domain Specific Knowledge Graph Construction:A Case Study on Hunan's Historical Celebrities
• Title（参考訳）: ドメイン固有知識グラフ構築のための大規模言語モデルの教師付き微調整:Hunanの歴史的セレブを事例として
• Authors: Junjie Hao, Chun Wang, Ying Qiao, Qiuyue Zuo, Qiya Song, Hua Ma, Xieping Gao,
• Abstract要約: 本研究では,ドメイン固有情報抽出の教師付き微調整手法を提案する。 まず,Hunanの歴史的有名人ドメインに合わせた,きめ細かなスキーマ誘導型指導テンプレートを設計する。 第二に、パラメータ効率のよい命令微調整を4つの公開言語モデルに適用する。
• 参考スコア（独自算出の注目度）: 21.036839167394053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models and knowledge graphs offer strong potential for advancing research on historical culture by supporting the extraction, analysis, and interpretation of cultural heritage. Using Hunan's modern historical celebrities shaped by Huxiang culture as a case study, pre-trained large models can help researchers efficiently extract key information, including biographical attributes, life events, and social relationships, from textual sources and construct structured knowledge graphs. However, systematic data resources for Hunan's historical celebrities remain limited, and general-purpose models often underperform in domain knowledge extraction and structured output generation in such low-resource settings. To address these issues, this study proposes a supervised fine-tuning approach for enhancing domain-specific information extraction. First, we design a fine-grained, schema-guided instruction template tailored to the Hunan historical celebrities domain and build an instruction-tuning dataset to mitigate the lack of domain-specific training corpora. Second, we apply parameter-efficient instruction fine-tuning to four publicly available large language models - Qwen2.5-7B, Qwen3-8B, DeepSeek-R1-Distill-Qwen-7B, and Llama-3.1-8B-Instruct - and develop evaluation criteria for assessing their extraction performance. Experimental results show that all models exhibit substantial performance gains after fine-tuning. Among them, Qwen3-8B achieves the strongest results, reaching a score of 89.3866 with 100 samples and 50 training iterations. This study provides new insights into fine-tuning vertical large language models for regional historical and cultural domains and highlights their potential for cost-effective applications in cultural heritage knowledge extraction and knowledge graph construction.
• Abstract（参考訳）: 大規模言語モデルと知識グラフは、文化遺産の抽出、分析、解釈を支援することによって、歴史文化の研究を前進させる強力な可能性を提供する。 華南文化によって形成された現代の歴史有名人を事例研究として用いて、事前訓練された大きなモデルは、研究者がテキストソースから伝記属性、ライフイベント、社会的関係を含む重要な情報を効率的に抽出し、構造化された知識グラフを構築するのに役立つ。 しかし、Hunanの歴史的有名人のための体系的なデータ資源は依然として限られており、汎用モデルはドメイン知識抽出やそのような低リソース環境下での構造化出力生成において性能が劣ることが多い。 これらの課題に対処するために,ドメイン固有情報抽出を強化するための教師付き微調整手法を提案する。 まず,Hunanの歴史的有名人ドメインに合わせたきめ細かなスキーマ誘導型命令テンプレートを設計し,ドメイン固有のトレーニングコーパスの欠如を軽減するために,命令チューニングデータセットを構築する。 次に,Qwen2.5-7B,Qwen3-8B,DeepSeek-R1-Distill-Qwen-7B,Llama-3.1-8B-Instructの4つの公開言語モデルに適用し,抽出性能の評価基準を開発した。 実験結果から,すべてのモデルが微調整後の大幅な性能向上を示した。 中でもQwen3-8Bは89.3866点に達し、100点のサンプルと50点のトレーニングを繰り返した。 本研究は, 地域歴史・文化領域を対象とした微調整型大規模言語モデルに関する新たな知見を提供し, 文化遺産知識抽出・知識グラフ構築における費用対効果の可能性を明らかにする。

関連論文リスト

• A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
  VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。 これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
  論文  参考訳（メタデータ） (2025-10-27T17:57:33Z)
• Research on Graph-Retrieval Augmented Generation Based on Historical Text Knowledge Graphs [6.350401830141683]
  本稿は、歴史テキスト分析のための一般的な大言語モデルにおけるドメイン知識のギャップについて論じる。 本稿では,チェーン・オブ・シークレット・プロンプト,自己指示生成,プロセス監視を組み合わせたグラフRAGフレームワークを提案する。 このデータセットは、過去の知識の自動抽出をサポートし、労働コストを削減します。
  論文  参考訳（メタデータ） (2025-06-18T08:20:29Z)
• Efficiently Building a Domain-Specific Large Language Model from Scratch: A Case Study of a Classical Chinese Large Language Model [22.60356156315889]
  本稿では,古典中国語の理解と生成に特化して設計された,大規模言語モデルであるAI Taiyanを開発する。 実験によると、合理的なモデル設計、データ処理、基礎的なトレーニング、微調整により、わずか18億のパラメータで満足な結果が得られる。 本研究は、専門分野固有の大規模言語モデルの効率的な構築の参考となる。
  論文  参考訳（メタデータ） (2025-05-17T03:43:16Z)
• Understanding Museum Exhibits using Vision-Language Reasoning [52.35301212718003]
  博物館は、様々なエポック、文明、地域の文化遺産や歴史的遺物の保管所として機能している。 ドメイン固有モデルは、インタラクティブなクエリ解決と歴史的洞察を得るために不可欠である。 世界中の展示品に対して,65万枚の画像と2億枚の質問回答ペアの大規模なデータセットを収集し,キュレートする。
  論文  参考訳（メタデータ） (2024-12-02T10:54:31Z)
• CRAFT: Extracting and Tuning Cultural Instructions from the Wild [38.255242754975654]
  本稿では,未構造化コーパスから高品質で文化的に関連のある命令チューニングデータセットを抽出するための新しいパイプラインを提案する。 自己指示生成パイプラインを用いて、文化的概念を特定し、指導をトリガーする。 シンガポール、フィリピン、アメリカという3つの地域で実験を行い、最大6%のパフォーマンス向上を実現しました。
  論文  参考訳（メタデータ） (2024-05-06T03:21:55Z)
• Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [103.0865116794534]
  データ収集パイプラインに大規模なモデルを導入し、ドメイン固有の情報の生成をガイドします。 このアプローチをRetrieve-from-CCと呼ぶ。 ドメイン固有の知識に関するデータを収集するだけでなく、パブリックコーパスから潜在的推論手順を含むデータをマイニングする。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• GujiBERT and GujiGPT: Construction of Intelligent Information Processing Foundation Language Models for Ancient Texts [11.289265479095956]
  GujiBERTとGujiGPT言語モデルは、古代のテキストの知的情報処理に特化した基礎モデルである。 これらのモデルは、単純化された漢字と伝統的な漢字の両方を含む広範なデータセットで訓練されている。 これらのモデルは、公開データセットを使用して、さまざまなバリデーションタスクで例外的なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2023-07-11T15:44:01Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。