論文の概要: KoRe: Compact Knowledge Representations for Large Language Models

• arxiv url: http://arxiv.org/abs/2605.20170v1
• Date: Tue, 19 May 2026 17:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.573418
• Title: KoRe: Compact Knowledge Representations for Large Language Models
• Title（参考訳）: KoRe: 大規模言語モデルのためのコンパクトな知識表現
• Authors: Davide Cavicchini, Fausto Giunchiglia, Jacopo Staiano,
• Abstract要約: 1ホップのサブグラフをコンパクトな離散的知識トークンに符号化する手法であるKoReを紹介する。 この結果から, コンパクトな離散KG表現は, 現代LLMの基底として, 効率的かつ効果的に利用できることが示唆された。
• 参考スコア（独自算出の注目度）: 18.574252573244205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Large Language Models (LLMs) have shown impressive performances in user-facing tasks such as question answering, as well as consistent improvements in reasoning capabilities. Still, the way these models encode knowledge seems inherently flawed: by design, LLMs encode world-knowledge within their parameters. This way of representing knowledge is inherently opaque, difficult to debug and update, and prone to hallucinations. On the other hand, Knowledge Graphs can provide human-readable and easily editable world knowledge representations, and their application in knowledge-intensive tasks has consistently proven beneficial to downstream performance. Nonetheless, current integration techniques require extensive retraining or finetuning. To overcome this issue, we introduce KoRe, a methodology to encode 1-hop sub-graphs into compact discrete knowledge tokens and inject them into a LLM backbone. We test the proposed approach on three established benchmarks, and report competitive performances coupled with a significant reduction (up to 10x) in token usage. Our results show that compact discrete KG representations can efficiently and effectively be used to ground modern LLMs.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)では、質問応答や推論機能の改善など、ユーザ向けタスクのパフォーマンスが著しく向上している。 それでも、これらのモデルが知識をエンコードする方法には、本質的に欠陥があるように思える。 この知識の表現方法は本質的に不透明であり、デバッグや更新が困難であり、幻覚を起こす傾向がある。 一方、知識グラフは、人間が読みやすく、編集しやすい世界知識表現を提供することができ、知識集約的なタスクにおけるそれらの応用は、下流のパフォーマンスに一貫して有益であることが証明されている。 それにもかかわらず、現在の統合技術は広範な再訓練や微調整を必要としている。 この問題を解決するために,1ホップのサブグラフをコンパクトな離散的知識トークンに符号化し,LLMバックボーンに注入する手法であるKoReを紹介する。 提案手法を確立された3つのベンチマークで検証し,トークン使用率の大幅な低下(最大10倍)と競合性能の報告を行った。 この結果から, コンパクトな離散KG表現は, 現代LLMの基底として, 効率的かつ効果的に利用できることが示唆された。

関連論文リスト

• DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention [2.168994673914057]
  大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。 我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。
  論文  参考訳（メタデータ） (2025-08-10T05:22:38Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• Injecting Knowledge Graphs into Large Language Models [0.0]
  我々は,大規模言語モデル内のグラフ埋め込みをトークンとして統合するエンコーディング技術を構築した。 我々のアプローチは、モデルに依存しず、リソース効率が良く、どのLLMとも互換性がある。
  論文  参考訳（メタデータ） (2025-05-12T13:31:26Z)
• Knowledge Graphs for Enhancing Large Language Models in Entity Disambiguation [0.061446808540639365]
  我々は、ゼロショットエンティティ曖昧化(ED)のためのLarge Language Models(LLM)を強化するために知識グラフを使用します。 我々は、KG内のエンティティのクラスを階層的に表現することで、候補空間とエンティティの記述を訓練し、入力プロンプトを追加の事実知識で強化する。 一般的なEDデータセットを用いた評価の結果,提案手法は非強化および記述専用拡張LDMよりも優れており,タスク固有モデルよりも適応性が高いことがわかった。
  論文  参考訳（メタデータ） (2025-05-05T15:40:24Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。