論文の概要: Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.14427v1
• Date: Wed, 20 Aug 2025 04:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.346836
• Title: Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける構造化推論のための知識グラフ注入ファインタニング
• Authors: Wuyang Zhang, Yexin Tian, Xiandong Meng, Mengjie Wang, Junliang Du,
• Abstract要約: 知識グラフ注入に基づく微調整アルゴリズムフレームワークを提案する。 事前訓練された言語モデルに基づいて構築され、補助学習のための構造化グラフ情報を導入している。 構造的推論やエンティティ抽出を含むシナリオにおいて、セマンティック一貫性とコンテキスト論理モデリングがより優れていることを示す。
• 参考スコア（独自算出の注目度）: 41.59092188743925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problems of missing reasoning chains and insufficient entity-level semantic understanding in large language models when dealing with tasks that require structured knowledge. It proposes a fine-tuning algorithm framework based on knowledge graph injection. The method builds on pretrained language models and introduces structured graph information for auxiliary learning. A graph neural network is used to encode entities and their relations, constructing a graph-based semantic representation. A fusion mechanism is then designed to jointly model the knowledge graph embeddings with the contextual representations from the language model. To enhance the robustness of knowledge integration, a gating mechanism is introduced to dynamically balance the contributions of linguistic semantics and structural knowledge. This effectively mitigates conflicts between different representational spaces. During training, a joint loss function is constructed to account for both task performance and structural alignment objectives. This helps improve the accuracy of entity prediction and semantic reasoning. The study also includes a series of systematic sensitivity experiments. It evaluates the effects of learning rate, graph coverage, and structural perturbations on model performance. The results further validate the effectiveness and stability of the proposed method across tasks such as entity recognition, question answering, and language generation. Experimental findings show that the proposed structure-aware fine-tuning framework significantly enhances the model's ability to represent complex semantic units. It demonstrates better semantic consistency and contextual logic modeling in scenarios involving structural reasoning and entity extraction.
• Abstract（参考訳）: 本稿では、構造化知識を必要とするタスクを扱う場合、大規模言語モデルにおいて、推論チェーンの欠如とエンティティレベルのセマンティック理解が不十分な問題に対処する。 知識グラフ注入に基づく微調整アルゴリズムフレームワークを提案する。 本手法は事前学習言語モデルに基づいて構築され,補助学習のための構造化グラフ情報を導入している。 グラフニューラルネットワークは、エンティティとその関係を符号化し、グラフベースの意味表現を構築するために使用される。 融合機構は、言語モデルからの文脈表現と知識グラフの埋め込みを協調的にモデル化するように設計される。 知識統合の堅牢性を高めるため、言語意味学と構造知識の貢献を動的にバランスさせるゲーティング機構が導入された。 これは、異なる表現空間間の衝突を効果的に緩和する。 トレーニング中、タスク性能と構造的アライメントの目的の両方を考慮するために、共同損失関数が構築される。 これにより、エンティティ予測とセマンティック推論の精度が向上する。 この研究には、一連の系統的な感度実験も含まれている。 学習速度,グラフカバレッジ,構造的摂動がモデル性能に与える影響を評価する。 さらに,提案手法の有効性と安定性を,エンティティ認識,質問応答,言語生成などのタスクにわたって検証した。 実験結果から,提案する構造対応微調整フレームワークは,複雑な意味単位を表現するモデルの能力を大幅に向上させることが示された。 構造的推論やエンティティ抽出を含むシナリオにおいて、セマンティック一貫性とコンテキスト論理モデリングがより優れていることを示す。

関連論文リスト

• A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language [15.929767234646631]
  データ、サイズ、計算量の増加は、ニューラルネットワークによる特定の能力の急激な学習につながる可能性がある。 エマージェンス(emergence)とは、しばしば「エマージェンス(emergence)」と呼ばれる現象である。
  論文  参考訳（メタデータ） (2024-08-22T17:44:22Z)
• Punctuation Restoration Improves Structure Understanding Without Supervision [5.925894224649895]
  学習目的としての句読点復元が構造関連タスクの性能を向上させることを示す。 その結果,句読点復元は構造理解を向上する効果的な学習目標であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-13T11:22:52Z)
• Contextualized word senses: from attention to compositionality [0.10878040851637999]
  本稿では,文脈感覚を符号化する透過的,解釈可能,言語的に動機づけられた戦略を提案する。 特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。
  論文  参考訳（メタデータ） (2023-12-01T16:04:00Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification [50.83222170524406]
  解法ジレンマの統一概念に基づくグラフ分類における本質的難易度の研究」 構造ランドマークと相互作用モデリングのためのインダクティブニューラルネットワークモデルSLIM'を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:01:42Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。