論文の概要: Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models

• arxiv url: http://arxiv.org/abs/2510.26683v1
• Date: Thu, 30 Oct 2025 16:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.909417
• Title: Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models
• Title（参考訳）: Evontree: オントロジールールによる大規模言語モデルの自己進化
• Authors: Mingchen Tu, Zhiqiang Liu, Juan Li, Liangyurui Liu, Junjie Wang, Lei Liang, Wen Zhang,
• Abstract要約: Evontreeは、大規模言語モデル(LLM)内のドメイン知識を抽出、検証、拡張するために、少数の高品質なルールを利用する新しいフレームワークである。 Llama3-8B-InstructとMed42-v2による医学QAベンチマークの実験は、修正されていないモデルと教師付きベースラインの両方に対して一貫した性能を示した。
• 参考スコア（独自算出の注目度）: 12.36467850170776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated exceptional capabilities across multiple domains by leveraging massive pre-training and curated fine-tuning data. However, in data-sensitive fields such as healthcare, the lack of high-quality, domain-specific training corpus hinders LLMs' adaptation for specialized applications. Meanwhile, domain experts have distilled domain wisdom into ontology rules, which formalize relationships among concepts and ensure the integrity of knowledge management repositories. Viewing LLMs as implicit repositories of human knowledge, we propose Evontree, a novel framework that leverages a small set of high-quality ontology rules to systematically extract, validate, and enhance domain knowledge within LLMs, without requiring extensive external datasets. Specifically, Evontree extracts domain ontology from raw models, detects inconsistencies using two core ontology rules, and reinforces the refined knowledge via self-distilled fine-tuning. Extensive experiments on medical QA benchmarks with Llama3-8B-Instruct and Med42-v2 demonstrate consistent outperformance over both unmodified models and leading supervised baselines, achieving up to a 3.7% improvement in accuracy. These results confirm the effectiveness, efficiency, and robustness of our approach for low-resource domain adaptation of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模な事前学習とキュレートされた微調整データを活用することで、複数のドメインにまたがる例外的な機能を示した。 しかし、医療などのデータに敏感な分野では、高品質でドメイン固有のトレーニングコーパスが欠如しているため、特殊な応用にLLMが適応することを妨げる。 一方、ドメインの専門家はドメイン知恵をオントロジールールに蒸留し、概念間の関係を形式化し、知識管理リポジトリの整合性を確保する。 我々は,LLMを人間の知識の暗黙のリポジトリとみなすとともに,LLM内のドメイン知識を体系的に抽出し,検証し,拡張するために高品質なオントロジールールの小さなセットを活用する新しいフレームワークであるEvontreeを提案する。 具体的には、エヴォンツリーは原モデルからドメインオントロジーを抽出し、2つのコアオントロジー規則を用いて矛盾を検知し、自己蒸留微調整によって洗練された知識を強化する。 Llama3-8B-InstructとMed42-v2による医学QAベンチマークの大規模な実験は、修正されていないモデルと教師付きベースラインの両方に対して一貫した性能を示し、精度は最大3.7%向上した。 これらの結果から,LLMの低リソース領域適応へのアプローチの有効性,効率,ロバスト性が確認された。

関連論文リスト

• Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs [11.724887822269528]
  大規模言語モデル(LLM)は、膨大な事前学習コーパスを活用することで、前例のない性能を達成した。 彼らの業績は、医学や科学研究のような知識集約的な領域において、依然として最適以下である。 本稿では,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-12T02:21:36Z)
• FineScope : Precision Pruning for Domain-Specialized Large Language Models Using SAE-Guided Self-Data Cultivation [3.5023779900630028]
  FineScopeは、より大きな事前訓練されたモデルからドメイン最適化言語モデルを導出するためのフレームワークである。 構造的プルーニングをドメイン固有の制約で適用し、結果のモデルが対象ドメインに不可欠な知識を保持することを保証します。 実験とアブレーション実験により、FinScopeは高い競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-01T16:05:08Z)
• Structured Extraction of Process Structure Properties Relationships in Materials Science [10.10021626682367]
  科学文献からプロセス-構造-プロパティ関係を抽出する新しいアノテーションスキーマを提案する。 本稿では,2つの異なるドメインからアノテーションを抽出した128の抽象的なデータセットを用いて,このアプローチの有用性を実証する。 以上の結果から,細調整LDMは,領域I上のBERT-CRFベースライン上でのエンティティ抽出性能を著しく向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-04T22:44:02Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them [9.952432291248954]
  限られたデータを持つ領域におけるエンコーダモデルの連続事前学習におけるLLM生成データの利用について検討する。 侵入生物学における埋め込みモデルの性能を評価するためのベンチマークをコンパイルする。 提案手法は,小さなエンコーダモデルのドメイン固有理解を向上させるために,完全自動パイプラインを実現することを実証した。
  論文  参考訳（メタデータ） (2025-03-27T21:51:24Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• From Generalist to Specialist: Improving Large Language Models for Medical Physics Using ARCoT [0.0]
  ARCoT(Adaptable Retrieval-based Chain of Thought)は、大規模言語モデル(LLM)のドメイン固有精度を高めるために設計されたフレームワークである。 本モデルでは, 標準LLMよりも優れ, 平均人体性能が68%向上した。
  論文  参考訳（メタデータ） (2024-05-17T18:31:38Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。