Fugu-MT 論文翻訳(概要): The Mechanism Matters: When Knowledge Graphs Help Reinforcement Learning

論文の概要: The Mechanism Matters: When Knowledge Graphs Help Reinforcement Learning

arxiv url: http://arxiv.org/abs/2607.19616v1
Date: Tue, 21 Jul 2026 22:43:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:37.93899
Title: The Mechanism Matters: When Knowledge Graphs Help Reinforcement Learning
Title（参考訳）: 知識グラフが強化学習に役立つメカニズム
Abstract要約: 知識グラフ(KG)は、事前知識を学習強化(RL)に注入するために広く用いられる。我々は,RLタスク,注入機構,KG品質を独立に変化させる制御された研究を行う。完全制御可能なKGをMiniGrid環境上で使用し,3つの知見を報告する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge graphs (KGs) are widely used to inject prior knowledge into reinforcement learning (RL), yet the literature is dominated by single-domain, positive-result method papers, so we lack a systematic account of when KG structure helps an agent, when it is neutral, and when it hurts. We conduct a controlled study that independently varies the RL task, the injection mechanism (state features, action masking, or potential-based reward shaping), and KG quality. Using a synthetic, fully controllable KG over MiniGrid environments, we report three findings. First, on compositional sparse-reward tasks structured KG guidance improves sample efficiency and solve reliability (70% to 97% of seeds), and a shuffle control that permutes the KG's edges while preserving their count collapses the benefit toward baseline (masking p=0.0001; shaping p=0.006), so the gain is structural rather than generic regularization. Second, KG value scales with the amount of task-relevant knowledge the graph contains. Third, and most consequential, safety depends on the mechanism: soft, optimality-preserving injection benefits from correct knowledge and harmlessly ignores incorrect knowledge, whereas hard masking is brittle, forbidding essential actions when the KG is incomplete or corrupted and making a wrong KG worse than none. A UMLS-derived clinical case study on sepsis management under offline RL is a careful null, underscoring that benefits require task structure the chosen mechanism can exploit. Our results give practitioners concrete guidance on how, and how much, to trust a KG when using it to guide RL.
Abstract（参考訳）: 知識グラフ (KGs) は、事前知識を強化学習 (RL) に注入するために広く用いられているが、文献は単ドメインの正の反則法論文に支配されているため、KG構造がエージェントを助けるとき、中立であるとき、そしてそれが傷つくときの体系的な説明が欠けている。我々は、RLタスク、注入機構(状態特徴、アクションマスキング、電位に基づく報酬形成)、KG品質を独立に変化させる制御された研究を行う。完全制御可能なKGをMiniGrid環境上で使用し,3つの知見を報告する。第一に、構成的スパース・リワードタスクにおいて、KGガイダンスはサンプル効率を改善し、信頼性を向上し(種子の70%から97%)、そのカウントを維持しながらKGのエッジを置換するシャッフル制御は、ベースライン(p=0.0001; 成形p=0.006)の利益を崩壊させるので、一般正規化よりも構造的になる。第二に、KG値はグラフが持つタスク関連知識の量とともにスケールする。ソフトで最適性を維持した注射は、正しい知識から恩恵を受け、不適切な知識を無害に無視するが、ハードマスクは脆弱であり、KGが不完全または腐敗した場合に必須の動作を禁止し、間違ったKGを悪用する。 UMLSによるオフラインRL下での敗血症管理に関する臨床ケーススタディは注意深いヌルであり、選択されたメカニズムが活用できるタスク構造を必要とすることを強調している。以上の結果から,KGをRLガイドに用いた場合のKGの信頼度,信頼度について具体的なガイダンスが得られた。

関連論文リスト

KG2Code: Bridging Knowledge Graphs and Large Language Models via Executable Code for Question Answering [64.63418702318029]
KG2Codeは知識グラフをコードベースの表現に変換する新しいアプローチである。 KG2Code-QAは、コード生成タスクとしてKGQAを定式化するKGQAフレームワークとして導入された。
論文参考訳（メタデータ） (2026-06-26T11:27:55Z)
Mixture-of-Experts Knowledge Graph Retrieval-Augmented Generation for Multi-Agent LLM-based Recommendation [56.36851606088493]
本稿では,知識グラフ検索拡張生成(KG-RAG)のための協調型マルチエージェントフレームワークを提案する。 MixRAGRecはMixture-of-Experts Retrieval Agentを統合し、各クエリを異なる粒度のKG検索専門家にルーティングする。
論文参考訳（メタデータ） (2026-05-27T08:56:57Z)
Efficient and Transferable Agentic Knowledge Graph RAG via Reinforcement Learning [18.9814789695716]
知識グラフ検索強化世代(KG-RAG)は、大きな言語モデル(LLM)と構造化された検証可能な知識グラフ(KG)を結合して幻覚を減らし、推論トレースを公開する。我々は、強化学習(RL)によるエージェントKG検索増強世代(KG-RAG)フレームワークであるKG-R1を紹介する。 KG-R1は、KGと相互作用する単一のエージェントを環境として利用し、各ステップで学習し、取得した情報をその推論と生成に組み込む。
論文参考訳（メタデータ） (2025-09-30T15:14:24Z)
KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs [58.12674907593879]
KG-Infused RAGは、既存の大規模知識グラフをRAGに組み込むフレームワークである。 KG-Infused RAGは、関連する構造化知識を取得するために、外部KG上での拡散活性化を直接実行する。実験の結果、KG-Infused RAGはバニラRAGより一貫して優れていた。
論文参考訳（メタデータ） (2025-06-11T09:20:02Z)
Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness [26.18941757096083]
KG-RAG(Knowledge Graph based Retrieval-Augmented Generation)は、質問回答(QA)のようなタスクにおける大規模言語モデル(LLM)推論を強化する手法である。既存のベンチマークでは、KG-RAG性能に対するKGの不完全性の影響を適切に捉えていない。我々は、KG-RAG法がKGの不完全性に敏感であることを示し、現実的な設定においてより堅牢なアプローチの必要性を強調した。
論文参考訳（メタデータ） (2025-04-07T15:08:03Z)
All Your Knowledge Belongs to Us: Stealing Knowledge Graphs via Reasoning APIs [7.685940197285116]
我々は,限られたクエリ予算の下で,機密性の高いサブKGを高い忠実度で抽出する攻撃であるKGXを提案する。実験および実世界のKGR APIに対するKGXの有効性を検証する。以上の結果から,KGRシステムの開発・展開において,より原則的なアプローチの必要性が示唆された。
論文参考訳（メタデータ） (2025-03-12T18:18:44Z)
Anomaly Detection and Classification in Knowledge Graphs [1.2599533416395767]
知識グラフにおける異常な三重項や実体を検出するための教師なしアプローチであるSEKA(Seeking Knowledge Graph Anomalies)を提案する。また, TAXOはKGに出現する可能性のある異常型の分類法である。実世界の4つのKG, YAGO-1, KBpedia, Wikidata, DSKGを用いて, 両者のアプローチを評価する。
論文参考訳（メタデータ） (2024-12-06T05:03:10Z)
Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-10-24T04:01:40Z)
Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [92.71304585906624]
大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
論文参考訳（メタデータ） (2024-10-16T22:55:17Z)
Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文参考訳（メタデータ） (2022-07-14T10:16:56Z)
IterefinE: Iterative KG Refinement Embeddings using Symbolic Knowledge [10.689559910656474]
テキストソースから抽出された知識グラフ(KG)は、しばしばノイズが多く、KGベースの質問応答のような下流アプリケーションタスクではパフォーマンスが低下する。最も成功したKG精製技術は、推論規則と推論監督の過剰な利用である。本稿では,2つの手法を反復的に組み合わせたIterefinEというKG精製フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-03T14:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。