論文の概要: Semi-Structured Chain-of-Thought: Integrating Multiple Sources of Knowledge for Improved Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2311.08505v2
• Date: Tue, 2 Apr 2024 03:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:23:14.990214
• Title: Semi-Structured Chain-of-Thought: Integrating Multiple Sources of Knowledge for Improved Language Model Reasoning
• Title（参考訳）: 思考の半構造化連鎖:言語モデル推論の改善のための複数の知識源の統合
• Authors: Xin Su, Tiep Le, Steven Bethard, Phillip Howard,
• Abstract要約: 本稿では,テキスト文書からの非構造化知識と知識グラフからの構造化知識とをシームレスに統合する,新しい半構造化プロンプト手法を提案する。 オープンドメイン型マルチホップ質問応答データセットの実験結果から,提案手法が既存の手法を大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 10.839645156881573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important open question in the use of large language models for knowledge-intensive tasks is how to effectively integrate knowledge from three sources: the model's parametric memory, external structured knowledge, and external unstructured knowledge. Most existing prompting methods either rely on one or two of these sources, or require repeatedly invoking large language models to generate similar or identical content. In this work, we overcome these limitations by introducing a novel semi-structured prompting approach that seamlessly integrates the model's parametric memory with unstructured knowledge from text documents and structured knowledge from knowledge graphs. Experimental results on open-domain multi-hop question answering datasets demonstrate that our prompting method significantly surpasses existing techniques, even exceeding those that require fine-tuning.
• Abstract（参考訳）: 知識集約的なタスクに大規模言語モデルを使用することにおける重要なオープンな疑問は、モデルのパラメトリックメモリ、外部構造化知識、外部構造化知識の3つのソースからの知識を効果的に統合する方法である。 既存のプロンプト手法の多くは、これらソースの1つか2つに依存しているか、あるいは類似または同一のコンテンツを生成するために、大きな言語モデルを繰り返し呼び出す必要がある。 本研究では,テキスト文書からの非構造化知識と知識グラフからの構造化知識とをシームレスに統合する,新たな半構造化促進手法を導入することにより,これらの制約を克服する。 オープンドメイン型マルチホップ質問応答データセットの実験結果から,提案手法が既存の手法をはるかに上回り,微調整を必要とするものよりもはるかに多いことが示された。

関連論文リスト

• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Large Language Models as Source Planner for Personalized Knowledge-grounded Dialogue [72.26474540602517]
  SAFARIは、教師なしと教師なしの両方の設定で計画し、理解し、導入するための新しいフレームワークである。 我々は、パーソナライズされた知識ベース対話データセットtextittextbfKnowledge textbfBehind textbfPersona(textbfKBP)を構築する。 KBPデータセットによる実験結果から,SAFARIフレームワークはペルソナ一貫性と知識強化の応答を効果的に生成できることが示された。
  論文  参考訳（メタデータ） (2023-10-13T03:38:38Z)
• Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models [58.42146641102329]
  我々は、新しい半パラメトリック言語モデルアーキテクチャ、Knowledge-in-Context(KiC)を開発した。 KiCは知識豊富な外部メモリを備えたパラメトリックテキスト-テキスト言語モデルを提供する。 知識豊富なセミパラメトリック言語モデルとして、KiCは、目に見えないタスクにおいて優れたゼロショットパフォーマンスを達成するために、はるかに小さな部分しか必要としない。
  論文  参考訳（メタデータ） (2022-10-28T23:18:43Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model [63.461030694700014]
  マルチモーダルなタスク指向対話システム(DKMD)のための新しい二元的知識強化型事前学習言語モデルを提案する。 提案したDKMDは,2つの知識選択,2つの知識強調型文脈学習,知識強調型応答生成という3つの重要なコンポーネントから構成される。 パブリックデータセットの実験は、最先端の競合相手よりも提案されたDKMDの優位性を検証する。
  論文  参考訳（メタデータ） (2022-07-16T13:02:54Z)
• Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling [43.0554223015728]
  知識基盤対話タスクは、与えられた知識文書から情報を伝える応答を生成することを目的としている。 対話と知識の両方のセマンティック構造をモデル化する新しいグラフ構造であるグラウンドドグラフを提案する。 また,知識接地応答生成を向上するグラウンドドグラフ認識変換器を提案する。
  論文  参考訳（メタデータ） (2022-04-27T03:31:46Z)
• Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion [9.45662259790057]
  本稿では,新しい対話生成モデルである動的マルチフォーム知識融合に基づくオープンドメインチャットマシン(DMKCM)を提案する。 DMKCMは、関連文書を第1ホップとして見つけるためにインデックス付きテキスト(仮想知識ベース)を適用し、その後、コモンセンス知識グラフを使用して対話の内容と第1ホップを拡張して、アポサイトトリプルを第2ホップとして取得する。 実験結果から,対話のコヒーレンスと情報提供性の観点から,本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2022-04-24T10:32:48Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。