論文の概要: Knowledge Homophily in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.23773v1
• Date: Sun, 28 Sep 2025 09:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.43907
• Title: Knowledge Homophily in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識の相同性
• Authors: Utkarsh Sahu, Zhisheng Qi, Mahantesh Halappanavar, Nedim Lipka, Ryan A. Rossi, Franck Dernoncourt, Yu Zhang, Yao Ma, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)における類似知識のホモフィリパターンについて検討する。 我々は LLM の知識を三重項レベルと実体レベルの両方の知識チェックを通じてグラフ表現にマッピングする。 このホモフィリ原理により、三重項の実体レベルの知識度スコアを推定するグラフニューラルネットワーク(GNN)回帰モデルを提案する。
• 参考スコア（独自算出の注目度）: 75.12297135039776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been increasingly studied as neural knowledge bases for supporting knowledge-intensive applications such as question answering and fact checking. However, the structural organization of their knowledge remains unexplored. Inspired by cognitive neuroscience findings, such as semantic clustering and priming, where knowing one fact increases the likelihood of recalling related facts, we investigate an analogous knowledge homophily pattern in LLMs. To this end, we map LLM knowledge into a graph representation through knowledge checking at both the triplet and entity levels. After that, we analyze the knowledgeability relationship between an entity and its neighbors, discovering that LLMs tend to possess a similar level of knowledge about entities positioned closer in the graph. Motivated by this homophily principle, we propose a Graph Neural Network (GNN) regression model to estimate entity-level knowledgeability scores for triplets by leveraging their neighborhood scores. The predicted knowledgeability enables us to prioritize checking less well-known triplets, thereby maximizing knowledge coverage under the same labeling budget. This not only improves the efficiency of active labeling for fine-tuning to inject knowledge into LLMs but also enhances multi-hop path retrieval in reasoning-intensive question answering.
• Abstract（参考訳）: 大言語モデル(LLM)は、質問応答や事実チェックなどの知識集約的なアプリケーションをサポートするための神経知識ベースとして、ますます研究されている。 しかし、その知識の構造的構造は未解明のままである。 セマンティック・クラスタリングやプライミングのような認知神経科学の発見に触発され、ある事実を知ることで、関連する事実をリコールする可能性が高まる。 この目的のために、LLMの知識を三重項と実体レベルの知識チェックを通じてグラフ表現にマッピングする。 その後、我々は、エンティティと隣人の知識可能性の関係を分析し、LCMがグラフに近くに位置するエンティティについて同様のレベルの知識を持つ傾向があることを発見した。 このホモフィリ原理を取り入れたグラフニューラルネットワーク(GNN)回帰モデルを提案する。 予測された知識可能性により、あまり知られていない三重項のチェックを優先順位付けし、同じラベル付け予算の下での知識カバレッジを最大化することができる。 これにより,LLMに知識を注入するファインチューニングのための能動的ラベリングの効率が向上するだけでなく,推論集約型質問応答におけるマルチホップパス検索も向上する。

関連論文リスト

• A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models [52.52824699861226]
  大規模な言語モデルは、その知識アクセス、編集可能性、推論可能性、説明可能性のための神経知識基盤として広く研究されている。 我々は,LLMの知識を三重項レベルと実体レベルの両方で定量化し,ノード次数などのグラフ構造特性との関連性を分析する。
  論文  参考訳（メタデータ） (2025-05-25T19:34:15Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• Fine-grained Stateful Knowledge Exploration: Effective and Efficient Graph Retrieval with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどの手法では、知識グラフから関連する知識を漸進的に取り出すために、問題全体を目的として扱うパラダイムを使用している。 本研究では,細粒度ステートフル知識探索のための新しいパラダイムであるFiSKEを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。