論文の概要: K-DeCore: Facilitating Knowledge Transfer in Continual Structured Knowledge Reasoning via Knowledge Decoupling
- arxiv url: http://arxiv.org/abs/2509.16929v3
- Date: Sun, 28 Sep 2025 23:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 14:13:47.559923
- Title: K-DeCore: Facilitating Knowledge Transfer in Continual Structured Knowledge Reasoning via Knowledge Decoupling
- Title(参考訳): K-DeCore:知識疎結合による連続的構造化知識推論における知識伝達の促進
- Authors: Yongrui Chen, Yi Huang, Yunchang Liu, Shenyu Zhang, Junhao He, Tongtong Wu, Guilin Qi, Tianxing Wu,
- Abstract要約: 既存の連続学習アプローチは、シーケンシャルなタスクに適用した場合、重大な課題に直面します。
そこで我々はCSKRフレームワークであるtextscK-DeCoreを提案する。
textscK-DeCoreは、異なるステージに対してデュアルパースペクティブなメモリ統合機構を統合し、構造誘導された擬似データ合成戦略を導入する。
- 参考スコア(独自算出の注目度): 30.54800939417459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Structured Knowledge Reasoning (CSKR) focuses on training models to handle sequential tasks, where each task involves translating natural language questions into structured queries grounded in structured knowledge. Existing general continual learning approaches face significant challenges when applied to this task, including poor generalization to heterogeneous structured knowledge and inefficient reasoning due to parameter growth as tasks increase. To address these limitations, we propose a novel CSKR framework, \textsc{K-DeCore}, which operates with a fixed number of tunable parameters. Unlike prior methods, \textsc{K-DeCore} introduces a knowledge decoupling mechanism that disentangles the reasoning process into task-specific and task-agnostic stages, effectively bridging the gaps across diverse tasks. Building on this foundation, \textsc{K-DeCore} integrates a dual-perspective memory consolidation mechanism for distinct stages and introduces a structure-guided pseudo-data synthesis strategy to further enhance the model's generalization capabilities. Extensive experiments on four benchmark datasets demonstrate the superiority of \textsc{K-DeCore} over existing continual learning methods across multiple metrics, leveraging various backbone large language models.
- Abstract(参考訳): CSKR(Continuous Structured Knowledge Reasoning)は、自然言語の質問を構造化知識に基づく構造化クエリに翻訳する、シーケンシャルなタスクを処理するためのトレーニングモデルに焦点を当てている。
既存の一般的な連続学習アプローチは、不均一な構造化知識への一般化が不十分なことや、タスクが増加するにつれてパラメータ成長による非効率な推論など、このタスクに適用する際の重大な課題に直面している。
これらの制約に対処するため,CSKR フレームワークである \textsc{K-DeCore} を提案する。
従来の方法とは異なり、 \textsc{K-DeCore} は知識分離機構を導入し、推論プロセスをタスク固有およびタスク非依存の段階に分解し、様々なタスク間のギャップを効果的に埋める。
この基盤の上に構築された \textsc{K-DeCore} は、異なるステージに対する二重パースペクティブメモリの統合機構を統合し、モデル一般化機能をさらに強化するための構造誘導擬似データ合成戦略を導入する。
4つのベンチマークデータセットに対する大規模な実験は、さまざまなバックボーンの大規模言語モデルを利用して、複数のメトリクスにわたる既存の連続的な学習方法よりも、‘textsc{K-DeCore}’の方が優れていることを示した。
関連論文リスト
- Pandora: Leveraging Code-driven Knowledge Transfer for Unified Structured Knowledge Reasoning [36.97767174793297]
Unified Structured Knowledge Reasoningは、構造化されたソースを統一的に使用することによって、自然言語の質問に答えることを目的としている。
既存の方法はタスク固有の戦略や振る舞い表現に依存しており、異なるSKRタスク間の障壁を分解する能力を妨げている。
2つの重要なイノベーションを活用することで、既存のメソッドの制限に対処する新しいUSKRフレームワークであるtextscPandoraを紹介します。
論文 参考訳(メタデータ) (2025-08-25T11:22:58Z) - KAG-Thinker: Interactive Thinking and Deep Reasoning in LLMs via Knowledge-Augmented Generation [35.555200530999365]
我々は、KAG-Thinkerを導入し、KAGをマルチターン対話型思考と、専用パラメータライト大言語モデル(LLM)を利用した深い推論フレームワークにアップグレードする。
提案手法は,複雑な問題を解くための構造化思考プロセスを構築し,推論過程の論理的一貫性と文脈的整合性を高める。
論文 参考訳(メタデータ) (2025-06-21T14:58:53Z) - Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。
ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。
C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
論文 参考訳(メタデータ) (2025-02-17T15:40:13Z) - StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。
本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。
実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
論文 参考訳(メタデータ) (2024-10-11T13:52:44Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。
我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。
SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
論文 参考訳(メタデータ) (2023-08-01T05:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。