論文の概要: ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

• arxiv url: http://arxiv.org/abs/2510.09711v1
• Date: Fri, 10 Oct 2025 04:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.578865
• Title: ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models
• Title（参考訳）: ReaLM: Residual Quantization Bridging Knowledge Graph Embeddingsと大規模言語モデル
• Authors: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen,
• Abstract要約: 大言語モデル(LLM)は知識グラフ補完(KGC)の強力なパラダイムとして登場した。 我々は、KG埋め込みとLLMトークン化のギャップを埋める、新しく効果的なフレームワークであるReaLMを提案する。 本稿では,ReaLMが最先端性能を実現し,構造化知識と大規模言語モデルとの整合性を確認した。
• 参考スコア（独自算出の注目度）: 18.720486146234077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have recently emerged as a powerful paradigm for Knowledge Graph Completion (KGC), offering strong reasoning and generalization capabilities beyond traditional embedding-based approaches. However, existing LLM-based methods often struggle to fully exploit structured semantic representations, as the continuous embedding space of pretrained KG models is fundamentally misaligned with the discrete token space of LLMs. This discrepancy hinders effective semantic transfer and limits their performance. To address this challenge, we propose ReaLM, a novel and effective framework that bridges the gap between KG embeddings and LLM tokenization through the mechanism of residual vector quantization. ReaLM discretizes pretrained KG embeddings into compact code sequences and integrates them as learnable tokens within the LLM vocabulary, enabling seamless fusion of symbolic and contextual knowledge. Furthermore, we incorporate ontology-guided class constraints to enforce semantic consistency, refining entity predictions based on class-level compatibility. Extensive experiments on two widely used benchmark datasets demonstrate that ReaLM achieves state-of-the-art performance, confirming its effectiveness in aligning structured knowledge with large-scale language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、知識グラフ補完(KGC)の強力なパラダイムとして登場し、従来の埋め込みベースのアプローチを超えて、強力な推論と一般化機能を提供する。 しかしながら、既存のLLMベースの手法は、事前訓練されたKGモデルの連続埋め込み空間がLLMの離散トークン空間と根本的に一致しているため、構造化された意味表現を完全に活用するのに苦労することが多い。 この不一致は効果的なセマンティックトランスファーを妨げ、パフォーマンスを制限します。 この課題に対処するために、残留ベクトル量子化のメカニズムを通じて、KG埋め込みとLLMトークン化のギャップを埋める、新しく効果的なフレームワークであるReaLMを提案する。 ReaLMは、訓練済みのKG埋め込みをコンパクトなコードシーケンスに識別し、LLM語彙内で学習可能なトークンとして統合し、記号的および文脈的知識のシームレスな融合を可能にする。 さらに、オントロジーに基づくクラス制約を組み込んでセマンティック一貫性を強制し、クラスレベルの互換性に基づいたエンティティ予測を精査する。 広く使用されている2つのベンチマークデータセットに対する大規模な実験により、ReaLMは最先端のパフォーマンスを実現し、構造化された知識と大規模言語モデルとの整合性を検証する。

関連論文リスト

• Scaling Language-Centric Omnimodal Representation Learning [26.999264997449586]
  大規模言語モデル (MLLM) を利用したマルチモーダル埋め込み手法は, 比較学習 (CL) によって微調整され, 有望な結果が得られた。 この研究は、MLLMに基づくアプローチの重要な利点は、生成前訓練中に達成される暗黙の相互モーダルアライメントに起因していると主張している。 我々はLCO-Embと呼ばれる言語中心のOmnimodal Embeddingフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T17:53:52Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• KROMA: Ontology Matching with Knowledge Retrieval and Large Language Models [5.405036373673608]
  KROMAはLarge Language Models(LLM)をRetrieval-Augmented Generationパイプライン内で利用する新しいフレームワークである。 性能と効率の両面を最適化するために、KROMAは二相性に基づく概念マッチングと軽量なオントロジー改善ステップを統合している。
  論文  参考訳（メタデータ） (2025-07-18T16:00:11Z)
• Enhancing Large Language Models with Reliable Knowledge Graphs [0.6345523830122166]
  知識グラフは、検証された知識で大規模言語モデルを構築するための有望なソリューションを提供する。 それらのポテンシャルは、固有のノイズ、不完全性、およびそれらの剛性構造とLLMの柔軟な推論を統合する複雑さによって制約されている。 この論文は、信頼性の高いKGを精製し活用することによってLCMを強化する凝集フレームワークを通じて、これらの制限に対処する。
  論文  参考訳（メタデータ） (2025-06-16T07:43:18Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。