論文の概要: A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.19286v1
• Date: Sun, 25 May 2025 19:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.031714
• Title: A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識構造パターンの探索のためのグラフ的視点
• Authors: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang,
• Abstract要約: 大規模な言語モデルは、その知識アクセス、編集可能性、推論可能性、説明可能性のための神経知識基盤として広く研究されている。 我々は,LLMの知識を三重項レベルと実体レベルの両方で定量化し,ノード次数などのグラフ構造特性との関連性を分析する。
• 参考スコア（独自算出の注目度）: 52.52824699861226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.
• Abstract（参考訳）: 大規模な言語モデルは、その知識アクセス、編集可能性、推論可能性、説明可能性のための神経知識基盤として広く研究されている。 しかし、知識の構造的なパターンに焦点を当てた研究はほとんどない。 このギャップにより、我々はこれらの構造パターンをグラフの観点から検討する。 我々は,LLMの知識を三重項レベルと実体レベルの両方で定量化し,ノード次数などのグラフ構造特性との関連性を分析する。 さらに、トポロジカルに密接なエンティティが類似したレベルの知識能力を示すような知識をホモフィリーに発見し、さらにグラフ機械学習モデルを開発し、その周辺地域に基づいてエンティティの知識を推定する動機付けをする。 このモデルは、LLMに知られていない三つ子を選択することで、貴重な知識チェックを可能にする。 実験結果から,選択した三重項を微調整に使用すると性能が向上することが示された。

関連論文リスト

• Learning to Retrieve and Reason on Knowledge Graph through Active Self-Reflection [5.164923314261229]
  本稿では,知識グラフ推論ARGのための能動的自己回帰フレームワークを提案する。 フレームワーク内では、特別なトークンを利用して、知識検索が必要かどうかをテキスト的に決定する。 モデルによって生成された推論経路は高い解釈可能性を示し、モデルの構造的知識に対する理解をより深く探求することができる。
  論文  参考訳（メタデータ） (2025-02-20T06:38:48Z)
• Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
  KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。 バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-26T14:07:00Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。