論文の概要: Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs

• arxiv url: http://arxiv.org/abs/2505.07184v1
• Date: Mon, 12 May 2025 02:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.245578
• Title: Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs
• Title（参考訳）: LLMにおける知識欠陥の検出と修復のための構造エントロピー誘導剤
• Authors: Yifan Wei, Xiaoyan Yu, Tengfei Pan, Angsheng Li, Li Du,
• Abstract要約: 大規模言語モデル(LLM)は、膨大な事前学習コーパスを活用することで、前例のない性能を達成した。 彼らの業績は、医学や科学研究のような知識集約的な領域において、依然として最適以下である。 本稿では,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.724887822269528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved unprecedented performance by leveraging vast pretraining corpora, yet their performance remains suboptimal in knowledge-intensive domains such as medicine and scientific research, where high factual precision is required. While synthetic data provides a promising avenue for augmenting domain knowledge, existing methods frequently generate redundant samples that do not align with the model's true knowledge gaps. To overcome this limitation, we propose a novel Structural Entropy-guided Knowledge Navigator (SENATOR) framework that addresses the intrinsic knowledge deficiencies of LLMs. Our approach employs the Structure Entropy (SE) metric to quantify uncertainty along knowledge graph paths and leverages Monte Carlo Tree Search (MCTS) to selectively explore regions where the model lacks domain-specific knowledge. Guided by these insights, the framework generates targeted synthetic data for supervised fine-tuning, enabling continuous self-improvement. Experimental results on LLaMA-3 and Qwen2 across multiple domain-specific benchmarks show that SENATOR effectively detects and repairs knowledge deficiencies, achieving notable performance improvements. The code and data for our methods and experiments are available at https://github.com/weiyifan1023/senator.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、膨大な事前学習コーパスを活用することで、前例のない性能を達成したが、その性能は、高い事実精度を必要とする医学や科学研究のような知識集約的な領域において、依然として最適ではない。 合成データはドメイン知識を増強するための有望な道を提供するが、既存の手法はモデルの真の知識ギャップと一致しない冗長なサンプルを頻繁に生成する。 この制限を克服するために,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。 提案手法では,知識グラフパスに沿った不確実性を定量化するために構造エントロピー(SE)メトリクスを用い,モンテカルロ木探索(MCTS)を利用して,モデルにドメイン固有の知識が欠けている地域を選択的に探索する。 これらの知見に導かれて、このフレームワークは教師付き微調整のためのターゲットとなる合成データを生成し、継続的な自己改善を可能にする。 複数のドメイン固有のベンチマークにおけるLLaMA-3とQwen2の実験結果から、SENATORは知識不足を効果的に検出し、修復し、顕著な性能改善を実現している。 メソッドと実験のためのコードとデータはhttps://github.com/weiyifan1023/senator.comで公開されている。

関連論文リスト

• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
  KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。 バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-26T14:07:00Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Pruning neural network models for gene regulatory dynamics using data and domain knowledge [24.670514977455202]
  本稿では,モデルフィッティングにおけるドメイン固有構造情報を用いてネットワークプルーニングをガイドするフレームワークであるDASHを提案する。 DASHは、遺伝子相互作用パートナーに関する知識を用いて、一般的な刈り取り法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-05T23:02:55Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。