論文の概要: VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering

• arxiv url: http://arxiv.org/abs/2609.19158v1
• Date: Wed, 29 Jul 2026 17:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.617806
• Title: VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering
• Title（参考訳）: VisKG-LM:複数質問応答のための知識グラフをビジュアルメモリにコンパイルする
• Abstract要約: VisKG-LMは、言語推論からグラフエンコーディングを分離することで実現可能であることを示す。 検索された候補固有のサブグラフをリレーショナルラベルパスとしてシリアライズする。 推論において、言語モデルはテキストのみから質問と候補を文脈化する。
• 参考スコア（独自算出の注目度）: 1.6283188663897687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge graphs are usually integrated into question answering by encoding a retrieved subgraph with a graph neural network and fusing it with the language model in the online inference path. The same subgraph is therefore re-encoded from scratch every time a pair is scored, across training epochs, seeds, and evaluation runs, even though the knowledge graph never changes. We ask whether the retrieved knowledge graphs can instead be compiled once, offline, and then accessed as read-only memory. VisKG-LM shows that it can, by decoupling graph encoding from language reasoning. It serializes each retrieved candidate-specific subgraph as Relation-Labeled Paths and renders the result as an image whose two-dimensional layout preserves the branching structure of the paths. Each image is encoded once, offline, and cached for reuse. At inference, the language model contextualizes the question and candidate from text alone, and only its final layer consults the cached visual memory, reading both its global layout and its local relational detail. The graph information thus enters only after the text has been understood. On the test sets of CommonsenseQA, OpenBookQA, and MedQA-USMLE, VisKG-LMimproves over GreaseLM by $1.2$, $0.8$, and $4.3$ points, respectively, while matching or surpassing GraphVis, a $7$B vision-language model, with only about $400$M online parameters. Against a matched text-only control that receives the identical Relation-Labeled Paths, it gains $4.2$, $6.5$, and $5.1$ points across the three benchmarks. These gains show that the complete visual-memory interface adds value beyond path textualization alone and support compiled visual memory as an alternative to online graph propagation.
• Abstract（参考訳）: 知識グラフは通常、検索したサブグラフをグラフニューラルネットワークで符号化し、オンライン推論パスで言語モデルと融合することによって、質問応答に統合される。 したがって、同じサブグラフは、ペアが得点されるたびにスクラッチから再エンコードされ、知識グラフが決して変化しないにもかかわらず、エポック、シード、評価の実行を訓練する。 検索した知識グラフが一度、オフラインでコンパイルされ、読み取り専用メモリとしてアクセス可能かどうかを問う。 VisKG-LMは、言語推論からグラフエンコーディングを分離することで実現可能であることを示す。 検索した候補固有のサブグラフをRelation-Labeled Pathとしてシリアライズし、2次元レイアウトがパスの分岐構造を保存するイメージとして結果を表示する。 各イメージは一度、オフラインでエンコードされ、再利用のためにキャッシュされる。 推論において、言語モデルはテキストのみから質問と候補をコンテキスト化し、最終層のみがキャッシュされたビジュアルメモリを参照し、そのグローバルレイアウトとローカルリレーショナルディテールの両方を読み取る。 これにより、テキストが理解された後にのみグラフ情報が入力される。 CommonsenseQA、OpenBookQA、MedQA-USMLEのテストセットでは、VisKG-LMimprovがGreaseLMを$2$、$0.8$、$4.3$ポイントで上回る。 同一のリレーショナルラベルパスを受信するマッチしたテキストのみの制御に対して、3つのベンチマークで4.2ドル、6.5ドル、5.1ドルポイントを獲得している。 これらの利益は、完全なビジュアルメモリインターフェースがパスのテキスト化以外にも価値をもたらし、オンライングラフの伝搬の代替としてコンパイルされたビジュアルメモリをサポートすることを示している。

関連論文リスト

• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GITA: Graph to Visual and Textual Integration for Vision-Language Graph Reasoning [30.23658922980425]
  我々は、$textbfG$raph to v$textbfI$sual and $textbfT$extual Integr$textbfA$tion (GITA)というエンドツーエンドフレームワークを提案する。 GITAはまず、ビジュアルグラフを一般的なグラフ推論に組み込む。 GVLQAデータセットと5つの実世界のデータセットの実験は、GITAが一般的なグラフ推論能力において、メインストリームのLLMよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-02-03T12:19:47Z)
• GraghVQA: Language-Guided Graph Neural Networks for Graph-based Visual Question Answering [4.673063715963991]
  Scene Graphはオブジェクトをエッジとしてペアワイズリレーションを介して接続されたノードとしてエンコードします。 自然言語質問の翻訳と実行を行う言語誘導グラフニューラルネットワークフレームワークであるGraphVQAを提案する。 GQAデータセットに対する実験により、GraphVQAは最先端の精度を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2021-04-20T23:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。