論文の概要: Chain of Thought Prompting Elicits Knowledge Augmentation

• arxiv url: http://arxiv.org/abs/2307.01640v1
• Date: Tue, 4 Jul 2023 10:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 17:30:32.675180
• Title: Chain of Thought Prompting Elicits Knowledge Augmentation
• Title（参考訳）: 知識の強化を促進する思考連鎖
• Authors: Dingjun Wu, Jing Zhang, Xinmei Huang
• Abstract要約: CoT-KAは、深層学習のための知識を増強するChain-of-Thoughtベースの手法である。 以上の結果から,CoT-KAは純粋なCoT法と非拡張法の両方に優れていた。
• 参考スコア（独自算出の注目度）: 7.303813788460323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The knowledge-augmented deep learning paradigm refers to a paradigm in which domain knowledge is identified and integrated into deep models. Conventional methods typically employ task-specific approaches to gather external knowledge from various sources. In contrast, large language models are extensively pre-trained and can serve as a comprehensive source of external knowledge. In this paper, we propose CoT-KA, a Chain-of-Thought-based method that augments knowledge for deep learning. CoT-KA avoids the need for additional knowledge retrieval or knowledge reasoning models, as required in conventional augmentation methods. Our results demonstrate that CoT-KA outperforms both pure CoT-based methods and the non-augmented method across the majority of eleven publicly available benchmarks for various reasoning tasks.
• Abstract（参考訳）: 知識強化されたディープラーニングパラダイムは、ドメイン知識を同定し、深層モデルに統合するパラダイムを指す。 従来の手法では、様々なソースから外部知識を集めるためにタスク固有のアプローチが用いられる。 対照的に、大きな言語モデルは広範囲に事前訓練されており、外部知識の包括的な情報源として機能する。 本稿では,深層学習のための知識を増強するChain-of-Thoughtベースの手法であるCoT-KAを提案する。 CoT-KAは、従来の拡張手法に必要な知識検索や知識推論モデルの必要性を回避する。 以上の結果から,CoT-KAは,さまざまな推論タスクにおいて利用可能な11のベンチマークの過半数において,純粋なCoT法と非拡張法の両方に優れることが示された。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• CANDLE: Iterative Conceptualization and Instantiation Distillation from Large Language Models for Commonsense Reasoning [45.62134354858683]
  CANDLEは、コモンセンス知識ベースに対する概念化とインスタンス化を反復的に行うフレームワークである。 CANDLEをATOMICに適用することにより、600万の概念化と三重項のインスタンス化を含む総合的な知識基盤を構築する。
  論文  参考訳（メタデータ） (2024-01-14T13:24:30Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation [45.95864432188745]
  大規模事前学習の最近の進歩は、原文から知識を学ぶ可能性のある大きなモデルを提供する。 大規模モデルから最良の知識を引き出す様々な手法を提案する。 私たちの人間による研究は、幻覚はあるものの、大きなモデルは常識を出力できるという独特な利点を誇示していることを示している。
  論文  参考訳（メタデータ） (2022-11-03T04:48:38Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。