論文の概要: Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs

• arxiv url: http://arxiv.org/abs/2505.07184v1
• Date: Mon, 12 May 2025 02:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.245578
• Title: Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs
• Title（参考訳）: LLMにおける知識欠陥の検出と修復のための構造エントロピー誘導剤
• Authors: Yifan Wei, Xiaoyan Yu, Tengfei Pan, Angsheng Li, Li Du,
• Abstract要約: 大規模言語モデル(LLM)は、膨大な事前学習コーパスを活用することで、前例のない性能を達成した。 彼らの業績は、医学や科学研究のような知識集約的な領域において、依然として最適以下である。 本稿では,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.724887822269528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved unprecedented performance by leveraging vast pretraining corpora, yet their performance remains suboptimal in knowledge-intensive domains such as medicine and scientific research, where high factual precision is required. While synthetic data provides a promising avenue for augmenting domain knowledge, existing methods frequently generate redundant samples that do not align with the model's true knowledge gaps. To overcome this limitation, we propose a novel Structural Entropy-guided Knowledge Navigator (SENATOR) framework that addresses the intrinsic knowledge deficiencies of LLMs. Our approach employs the Structure Entropy (SE) metric to quantify uncertainty along knowledge graph paths and leverages Monte Carlo Tree Search (MCTS) to selectively explore regions where the model lacks domain-specific knowledge. Guided by these insights, the framework generates targeted synthetic data for supervised fine-tuning, enabling continuous self-improvement. Experimental results on LLaMA-3 and Qwen2 across multiple domain-specific benchmarks show that SENATOR effectively detects and repairs knowledge deficiencies, achieving notable performance improvements. The code and data for our methods and experiments are available at https://github.com/weiyifan1023/senator.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、膨大な事前学習コーパスを活用することで、前例のない性能を達成したが、その性能は、高い事実精度を必要とする医学や科学研究のような知識集約的な領域において、依然として最適ではない。 合成データはドメイン知識を増強するための有望な道を提供するが、既存の手法はモデルの真の知識ギャップと一致しない冗長なサンプルを頻繁に生成する。 この制限を克服するために,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。 提案手法では,知識グラフパスに沿った不確実性を定量化するために構造エントロピー(SE)メトリクスを用い,モンテカルロ木探索(MCTS)を利用して,モデルにドメイン固有の知識が欠けている地域を選択的に探索する。 これらの知見に導かれて、このフレームワークは教師付き微調整のためのターゲットとなる合成データを生成し、継続的な自己改善を可能にする。 複数のドメイン固有のベンチマークにおけるLLaMA-3とQwen2の実験結果から、SENATORは知識不足を効果的に検出し、修復し、顕著な性能改善を実現している。 メソッドと実験のためのコードとデータはhttps://github.com/weiyifan1023/senator.comで公開されている。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction [29.717986496967978]
  本稿では,大規模言語モデルの知識を体系的に抽出し,定量化する対話型エージェントフレームワークを提案する。 本手法は,異なる粒度で知識を探索する4つの適応探索ポリシーを含む。 我々は、より大きなモデルが常により多くの知識を抽出する明確な知識スケーリング法を観察する。
  論文  参考訳（メタデータ） (2026-02-01T01:43:44Z)
• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference [5.052013621974765]
  大言語モデル(LLM)は、表現力と推論能力を持っているが、構造に基づく薬物設計(SBDD)への応用は、タンパク質構造や予測不可能な分子生成の理解が不十分なため制限されている。 本研究では,LLM生成過程を符号化,遅延空間探索,復号化ワークフローとして再解釈するフレームワークであるELILLM(Exploration-Augmented Latent Inference for LLMs)を提案する。 ELILLMは、デコードモジュールを使用して、よく知られた領域を処理し、化学的に有効で合成学的に合理的な分子を生成することで、モデル現在の知識を超えた設計問題の部分を明示的に探求する。
  論文  参考訳（メタデータ） (2026-01-20T08:10:48Z)
• Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models [12.36467850170776]
  Evontreeは、大規模言語モデル(LLM)内のドメイン知識を抽出、検証、拡張するために、少数の高品質なルールを利用する新しいフレームワークである。 Llama3-8B-InstructとMed42-v2による医学QAベンチマークの実験は、修正されていないモデルと教師付きベースラインの両方に対して一貫した性能を示した。
  論文  参考訳（メタデータ） (2025-10-30T16:53:45Z)
• Embedding Domain Knowledge for Large Language Models via Reinforcement Learning from Augmented Generation [18.99847259801634]
  本稿では,RLAG(Reinforcement Learning from Augmented Generation)を提案し,ドメイン知識を大規模言語モデルに組み込む。 提案手法は, サンプリング世代間を反復的に循環し, 計算した報酬によってモデルを最適化する。 医学、法学、天文学、および現在のイベントデータセットにわたる実験結果から、提案手法がベースラインアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-09-24T14:30:16Z)
• Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime [13.230760040927496]
  大規模言語モデルに小さな非構造化情報を注入する作業について検討する。 制限されたデータに対する事前トレーニングを継続するだけで、控えめな改善が得られます。 私たちは、小さなデータ体制における忘れる現象に光を当て、新しいコンテンツ学習と既存の能力維持の微妙なバランスを図った。
  論文  参考訳（メタデータ） (2025-08-08T09:48:32Z)
• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• Resolving Knowledge Conflicts in Domain-specific Data Selection: A Case Study on Medical Instruction-tuning [83.99974309930072]
  ドメイン固有の命令チューニングは、大規模言語モデルの性能向上のためのデファクトスタンダードとなっている。 LLMの実際のニーズを満たすドメイン固有の命令調整データを選択するための知識対応データ選択フレームワークを提案する。 大きな知識の衝突でデータをフィルタリングし、高品質で多様なデータをサンプリングすることで、KDSはLLMの能力を効果的に刺激し、ドメイン固有のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2025-05-28T04:18:24Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Adapter-based Approaches to Knowledge-enhanced Language Models -- A Survey [48.52320309766703]
  知識強化言語モデル(KELM)は、大規模言語モデルとドメイン固有の知識のギャップを埋めるための有望なツールとして登場した。 KELMsは知識グラフ(KGs)を利用することで、より現実的な精度と幻覚を達成することができる
  論文  参考訳（メタデータ） (2024-11-25T14:10:24Z)
• Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
  KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。 バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-26T14:07:00Z)
• Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
  本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。 さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。 その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-30T01:56:07Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Pruning neural network models for gene regulatory dynamics using data and domain knowledge [24.670514977455202]
  本稿では,モデルフィッティングにおけるドメイン固有構造情報を用いてネットワークプルーニングをガイドするフレームワークであるDASHを提案する。 DASHは、遺伝子相互作用パートナーに関する知識を用いて、一般的な刈り取り法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-05T23:02:55Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Learning the Finer Things: Bayesian Structure Learning at the Instantiation Level [0.0]
  成功した機械学習手法は記憶と一般化の間のトレードオフを必要とする。 本稿では,探索的領域で学習し,一般化し,説明できる新しい確率的グラフィカルモデル構造学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。