論文の概要: Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning

• arxiv url: http://arxiv.org/abs/2504.00472v1
• Date: Tue, 01 Apr 2025 06:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:10.190303
• Title: Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning
• Title（参考訳）: 記憶は十分ではない:推論による深い知識注入
• Authors: Ruoxi Xu, Yunjie Ji, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Ben He, Yingfei Sun, Xiangang Li, Le Sun,
• Abstract要約: 本稿では,知識注入のレベルである記憶,検索,推論,関連性を定義した4段階の知識注入フレームワークを提案する。 次に、様々な知識注入シナリオを調査し、ベンチマーク上の各シナリオに対する知識注入の深さを評価する。
• 参考スコア（独自算出の注目度）: 60.01714908976762
• License:
• Abstract: Although large language models (LLMs) excel in knowledge recall and reasoning, their static nature leads to outdated information as the real world evolves or when adapting to domain-specific knowledge, highlighting the need for effective knowledge injection. However, current research on knowledge injection remains superficial, mainly focusing on knowledge memorization and retrieval. This paper proposes a four-tier knowledge injection framework that systematically defines the levels of knowledge injection: memorization, retrieval, reasoning, and association. Based on this framework, we introduce DeepKnowledge, a synthetic experimental testbed designed for fine-grained evaluation of the depth of knowledge injection across three knowledge types (novel, incremental, and updated). We then explore various knowledge injection scenarios and evaluate the depth of knowledge injection for each scenario on the benchmark. Experimental results reveal key factors to reach each level of knowledge injection for LLMs and establish a mapping between the levels of knowledge injection and the corresponding suitable injection methods, aiming to provide a comprehensive approach for efficient knowledge injection across various levels.
• Abstract（参考訳）: 大きな言語モデル(LLM)は知識のリコールや推論において優れているが、その静的な性質は、現実の世界が進化する時やドメイン固有の知識に適応する際に時代遅れの情報を導き、効果的な知識注入の必要性を強調している。 しかし、知識注入に関する現在の研究は、主に知識の記憶と検索に焦点をあてて表面的なもののままである。 本稿では,知識注入のレベルを体系的に定義する4段階の知識注入フレームワークを提案する。 このフレームワークをベースとして,3種類の知識タイプ(ノーベル,インクリメンタル,アップデート)にわたる知識注入の深さのきめ細かい評価を目的とした,総合的な実験ベッドであるDeepKnowledgeを紹介した。 次に、様々な知識注入シナリオを調査し、ベンチマーク上の各シナリオに対する知識注入の深さを評価する。 実験結果から,LLMの各レベルの知識注入に到達し,各レベルの知識注入と対応する適切な注射方法のマッピングを確立する上で重要な要素が明らかとなった。

関連論文リスト

• Latent Paraphrasing: Perturbation on Layers Improves Knowledge Injection in Language Models [54.385486006684495]
  LaPaelは、初期大規模言語モデル層に入力依存ノイズを適用する潜在レベルパラフレーズ法である。 質問応答ベンチマーク実験により、LaPaelは、標準的な微調整および既存のノイズベースアプローチよりも知識注入を改善することを示した。
  論文  参考訳（メタデータ） (2024-11-01T15:47:05Z)
• Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
  大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。 本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。 次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
  論文  参考訳（メタデータ） (2024-10-12T19:38:09Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization [6.927883826415262]
  本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。 具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。 医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
  論文  参考訳（メタデータ） (2023-08-23T09:32:40Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity [27.84415856657607]
  ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。 本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
  論文  参考訳（メタデータ） (2022-07-02T06:28:25Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
  少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。 知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
  論文  参考訳（メタデータ） (2022-01-27T05:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。