Fugu-MT 論文翻訳(概要): Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

論文の概要: Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

arxiv url: http://arxiv.org/abs/2407.00653v1
Date: Sun, 30 Jun 2024 10:49:32 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 02:07:11.781661
Title: Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs
Title（参考訳）: Chain-of-Knowledge:知識グラフからの学習による大規模言語モデルへの知識推論の統合
Authors: Yifei Zhang, Xintao Wang, Jiaqing Liang, Sirui Xia, Lida Chen, Yanghua Xiao,
Abstract要約: Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
参考スコア（独自算出の注目度）: 55.317267269115845
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ますます複雑な推論を伴う様々な自然言語処理(NLP)タスクに顕著な習熟度を示した。知識推論は,知識グラフ(KG)の文脈で広く研究されているが,LLMにおける知識推論はいまだ研究されていない。本稿では,知識推論のための包括的なフレームワークであるChain-of-Knowledgeを紹介する。データセット構築のために、KGのルールマイニングを通じてKnowReasonを作成します。モデル学習では,ナイーブトレーニングによって引き起こされる規則過適合を観察する。したがって、我々は、内部知識探索の人間の過程をシミュレートする試行錯誤機構により、CoKを強化する。我々は KnowReason で広範な実験を行う。本結果は,知識推論だけでなく,一般的な推論ベンチマークにおいても,LLMの精製におけるCoKの有効性を示す。

関連論文リスト

Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
論文参考訳（メタデータ） (2024-07-22T06:15:59Z)
Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文参考訳（メタデータ） (2024-06-11T15:58:59Z)
Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。本稿では,「知識」のレンズを用いた大規模モデルについて考察する。人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
論文参考訳（メタデータ） (2023-12-05T12:07:30Z)
Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文参考訳（メタデータ） (2023-10-11T08:22:37Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning [47.96987739801807]
本稿では,既存のモデル(バックボーン)を明示的な知識学習によって原則的に拡張する枠組みを提案する。 LeApでは,新しい問題知識表現パラダイムで知識学習を行う。 LeApはすべてのバックボーンのパフォーマンスを改善し、正確な知識を習得し、より解釈可能な推論プロセスを実現する。
論文参考訳（メタデータ） (2023-02-11T15:15:41Z)
Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文参考訳（メタデータ） (2022-09-17T08:48:50Z)
Lexical Knowledge Internalization for Neural Dialog Generation [36.27946635687281]
本稿では,語彙的知識をニューラルダイアログモデルに補完することを目的とした知識内在化(KI)を提案する。語彙知識の大規模化による課題に対処するため,コントラスト学習アプローチを採用し,トークンレベルの語彙知識検索を効果的に行う。
論文参考訳（メタデータ） (2022-05-04T08:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。