論文の概要: Limited Out-of-Context Knowledge Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.07393v2
• Date: Mon, 24 Jun 2024 14:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 00:13:51.690997
• Title: Limited Out-of-Context Knowledge Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈外知識推論の制限
• Authors: Peng Hu, Changjiang Gao, Ruiqi Gao, Jiajun Chen, Shujian Huang,
• Abstract要約: LLM(Large Language Models)は、知識ベースとしての強力な能力と、コンテキスト内推論能力を示す。 本稿では、複数の知識を組み合わせて新しい知識を推論する、アウト・オブ・コンテクストの知識推論(OCKR: Out-of-context Knowledge Reasoning)について論じる。
• 参考スコア（独自算出の注目度）: 65.72847298578071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated strong capabilities as knowledge bases and significant in-context reasoning capabilities. However, previous work challenges their out-of-context reasoning ability, i.e., the ability to infer information from their training data, instead of from the context or prompt. This paper focuses on a significant facet of out-of-context reasoning: Out-of-Context Knowledge Reasoning (OCKR), which is to combine multiple knowledge to infer new knowledge. We designed a synthetic dataset with seven representative OCKR tasks to systematically assess the OCKR capabilities of LLMs. Using this dataset, we evaluated the LLaMA2-13B-chat model and discovered that its proficiency in this aspect is limited, regardless of whether the knowledge is trained in a separate or adjacent training settings. Moreover, training the model to reason with complete reasoning data did not result in significant improvement. Training the model to perform explicit knowledge retrieval helps in only one of the tasks, indicating that the model's limited OCKR capabilities are due to difficulties in retrieving relevant knowledge. Furthermore, we treat cross-lingual knowledge transfer as a distinct form of OCKR, and evaluate this ability. Our results show that the evaluated model also exhibits limited ability in transferring knowledge across languages. The dataset used in this study is available at https://github.com/NJUNLP/ID-OCKR.
• Abstract（参考訳）: LLM(Large Language Models)は、知識ベースとしての強力な能力と、コンテキスト内推論能力を示す。 しかし、以前の作業は、文脈やプロンプトではなく、トレーニングデータから情報を推測する能力など、文脈外の推論能力に挑戦する。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)について論じる。 我々は,LLMのOCKR能力を体系的に評価する7つのOCKRタスクを用いた合成データセットを設計した。 このデータセットを用いて,LLaMA2-13B-chatモデルの評価を行い,知識が個別または隣接のトレーニング環境で訓練されているかどうかに関わらず,この点における習熟度に制限があることを発見した。 さらに、完全な推論データで推論するようにモデルをトレーニングしても、大幅な改善は得られなかった。 明示的な知識検索を行うためにモデルをトレーニングすることは、タスクの1つだけに役立つため、モデルのOCKR能力の制限は、関連する知識を取得するのが困難であることを示している。 さらに,言語間知識伝達をOCKRの別形態として扱い,その能力を評価する。 その結果,評価モデルは言語間で知識を伝達する能力に限界があることが示唆された。 この研究で使用されるデータセットはhttps://github.com/NJUNLP/ID-OCKRで公開されている。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Explainable Few-shot Knowledge Tracing [48.877979333221326]
  本稿では,学生の記録から学生の知識をトラッキングし,自然言語による説明を提供する認知誘導フレームワークを提案する。 3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T10:07:21Z)
• Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
  本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。 本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-30T04:51:46Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。