論文の概要: Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources

• arxiv url: http://arxiv.org/abs/2305.13269v3
• Date: Mon, 4 Dec 2023 04:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:31:13.796134
• Title: Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources
• Title（参考訳）: Chain-of-Knowledge:異種源に適応した動的知識による大規模言語モデルの構築
• Authors: Xingxuan Li, Ruochen Zhao, Yew Ken Chia, Bosheng Ding, Shafiq Joty, Soujanya Poria, Lidong Bing
• Abstract要約: Chain-of-knowledge (CoK)は、大規模な言語モデルを拡張するフレームワークである。 CoKは推論準備、動的知識適応、解答統合の3段階からなる。
• 参考スコア（独自算出の注目度）: 87.26486246513063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present chain-of-knowledge (CoK), a novel framework that augments large language models (LLMs) by dynamically incorporating grounding information from heterogeneous sources. It results in more factual rationales and reduced hallucination in generation. Specifically, CoK consists of three stages: reasoning preparation, dynamic knowledge adapting, and answer consolidation. Given a knowledge-intensive question, CoK first prepares several preliminary rationales and answers while identifying the relevant knowledge domains. If there is no majority consensus among the answers from samples, CoK corrects the rationales step by step by adapting knowledge from the identified domains. These corrected rationales can plausibly serve as a better foundation for the final answer consolidation. Unlike prior studies that primarily use unstructured data, CoK also leverages structured knowledge sources such as Wikidata and tables that provide more reliable factual information. To access both unstructured and structured knowledge sources in the dynamic knowledge adapting stage, we propose an adaptive query generator that allows the generation of queries for various types of query languages, including SPARQL, SQL, and natural sentences. Moreover, to minimize error propagation between rationales, CoK corrects the rationales progressively using preceding corrected rationales to generate and correct subsequent rationales. Extensive experiments show that CoK consistently improves the performance of LLMs on knowledge-intensive tasks across different domains.
• Abstract（参考訳）: 本稿では,異種情報源からの接地情報を動的に取り込み,大規模言語モデル(llm)を強化する新しいフレームワークであるchain-of-knowledge(cok)を提案する。 結果として、より事実的合理性と、世代における幻覚を減少させる。 特に、CoKは推論準備、動的知識適応、解答統合の3段階からなる。 知識集約的な質問が与えられた後、CoKはまず、関連する知識ドメインを特定しながら、いくつかの予備的な論理と答えを準備します。 サンプルからの回答に多数意見の一致がなければ、cokは特定されたドメインからの知識を段階的に修正する。 これらの補正された合理性は、最終的な回答統合のより良い基盤となることができる。 主に非構造化データを使用する先行研究とは異なり、cokはウィキデータやテーブルのような構造化された知識ソースを活用して、より信頼性の高い事実情報を提供する。 動的知識適応段階において,構造化されていない知識ソースと構造化された知識ソースの両方にアクセスするために,sparqlやsql,自然文など,さまざまなクエリ言語に対するクエリ生成を可能にする適応型クエリ生成器を提案する。 さらに、合理的な間の誤りの伝播を最小限に抑えるため、cokは前回の補正された合理法を用いて徐々に合理性を補正し、後続の合理性を生成し補正する。 大規模な実験により、CoKは異なる領域にわたる知識集約タスクにおけるLLMの性能を一貫して改善することが示された。

関連論文リスト

• SPARKLE: Enhancing SPARQL Generation with Direct KG Integration in Decoding [0.46040036610482665]
  本稿では、SPARQLフレームワークであるSPARKLEに、新しいエンドツーエンド自然言語を提示する。 SPARKLEは、デコーディング中に知識ベースの構造を直接活用し、クエリ生成に知識を効果的に統合する。 本稿では,SPARKLEがSimpleQuestions-Wiki上で,LCQuAD 1.0上で最高のF1スコアを獲得していることを示す。
  論文  参考訳（メタデータ） (2024-06-29T06:43:11Z)
• Leveraging Logical Rules in Knowledge Editing: A Cherry on the Top [12.982138813457812]
  知識編集(KE)におけるマルチホップ質問回答(MQA)は,大規模言語モデル(LLM)において重要な課題である 本稿では, RULE-KE をベースとした知識編集フレームワーク RULE-KE を提案する。 既存のデータセットと新しいデータセットを用いた実験的評価では、RULE-KEはパラメータベースのソリューションとメモリベースのソリューションの両方のパフォーマンスを、それぞれ92%と112.9%に向上させる。
  論文  参考訳（メタデータ） (2024-05-24T11:30:00Z)
• Enhancing Formal Theorem Proving: A Comprehensive Dataset for Training AI Models on Coq Code [0.0]
  Coqの証明アシスタントは、数学的アサーションとソフトウェアの正確性を検証するための厳格なアプローチで際立っている。 人工知能と機械学習の進歩にもかかわらず、Coq構文と意味論の特殊性は大規模言語モデル(LLM)に固有の課題をもたらす。 このデータセットは、10,000以上のCoqソースファイルのコレクションから派生したもので、幅広い命題、証明、定義を含んでいる。
  論文  参考訳（メタデータ） (2024-03-19T10:53:40Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering [83.74210749046551]
  ヘテロジニアス知識統合のための質問分解手法を提案する。 階層的質問分解木(RoHT)を用いた新しい2段階XQAフレームワークを提案する。 複雑なQAデータセットKQA ProとMusiqueの実験は、我々のフレームワークがSOTAメソッドを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-05-24T11:45:59Z)
• DecAF: Joint Decoding of Answers and Logical Forms for Question Answering over Knowledge Bases [81.19499764899359]
  本稿では,論理形式と直解の両方を共同で生成する新しいフレームワークDecAFを提案する。 DecAFはWebQSP、FreebaseQA、GrailQAベンチマークで新しい最先端の精度を実現している。
  論文  参考訳（メタデータ） (2022-09-30T19:51:52Z)
• Unified Open-Domain Question Answering with Structured and Unstructured Knowledge [7.7429684536437104]
  我々は,構造化,非構造化,半構造化の知識ソースを用いて,オープンドメイン質問応答(odqa)を研究する。 我々のアプローチは、テキストに縮小することですべてのソースを均質化し、最近の強力なレトリバーリーダーモデルを適用する。 その結果,3つのODQAベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T05:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。