論文の概要: CooK: Empowering General-Purpose Language Models with Modular and Collaborative Knowledge

• arxiv url: http://arxiv.org/abs/2305.09955v1
• Date: Wed, 17 May 2023 05:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:36:38.873221
• Title: CooK: Empowering General-Purpose Language Models with Modular and Collaborative Knowledge
• Title（参考訳）: CooK: モジュール的で協調的な知識を備えた汎用言語モデル
• Authors: Shangbin Feng, Weijia Shi, Yuyang Bai, Vidhisha Balachandran, Tianxing He, Yulia Tsvetkov
• Abstract要約: CooKは、モジュール的で協調的な知識を持つ汎用の大規模言語モデルを強化するための、新しいフレームワークである。 まず、様々なドメインやソースからコーパスで訓練された特殊言語モデル、自己回帰モデルを紹介する。 次に,生成した文書の情報を動的に選択・保持する3つの知識フィルタを提案する。
• 参考スコア（独自算出の注目度）: 33.69693720498059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly adopted for knowledge-intensive tasks and contexts. Existing approaches improve the knowledge capabilities of general-purpose LLMs through retrieval or generated knowledge prompting, but they fall short of reflecting two key properties of knowledge-rich models: knowledge should be modular, ever-growing, sourced from diverse domains; knowledge acquisition and production should be a collaborative process, where diverse stakeholders contribute new information. To this end, we propose CooK, a novel framework to empower general-purpose large language models with modular and collaboratively sourced knowledge. We first introduce specialized language models, autoregressive models trained on corpora from a wide range of domains and sources. These specialized LMs serve as parametric knowledge repositories that are later prompted to generate background knowledge for general-purpose LLMs. We then propose three knowledge filters to dynamically select and retain information in generated documents by controlling for relevance, brevity, and factuality. Finally, we propose bottom-up and top-down knowledge integration approaches to augment general-purpose LLMs with the curated (relevant, factual) knowledge from community-driven specialized LMs that enable multi-domain knowledge synthesis and on-demand knowledge requests. Through extensive experiments, we demonstrate that CooK achieves state-of-the-art performance on six benchmark datasets. Our results highlight the potential of enriching general-purpose LLMs with evolving and modular knowledge -- relevant knowledge that can be continuously updated through the collective efforts of the research community.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、知識集約的なタスクやコンテキストにますます採用されている。 既存のアプローチは、検索や生成された知識の促進を通じて汎用LLMの知識能力を改善するが、それらは知識に富んだモデルの2つの重要な特性を反映するに足らない: 知識はモジュール化され、継続的に成長し、多様なドメインから供給され、知識の獲得と生産は、様々な利害関係者が新しい情報を提供する協調的なプロセスであるべきである。 そこで本研究では,汎用大規模言語モデルにモジュール型で協調的な知識を付与する新しいフレームワーク cook を提案する。 まず、様々なドメインやソースからコーパスで訓練された特殊言語モデル、自己回帰モデルを紹介する。 これらの特殊なLMはパラメトリック知識リポジトリとして機能し、後に汎用LSMの背景知識を生成するよう促される。 次に, 関連性, 簡潔性, 事実性を制御し, 生成文書の情報を動的に選択・保持するための3つの知識フィルタを提案する。 最後に,多分野の知識合成とオンデマンドの知識要求を実現するための,コミュニティ主導の専門的LMからのキュレートされた(関連,事実)知識を付加するボトムアップとトップダウンの知識統合アプローチを提案する。 広範な実験を通じて、CooKが6つのベンチマークデータセットで最先端のパフォーマンスを達成することを示す。 この結果は,研究コミュニティの集合的努力を通じて継続的に更新可能な,進化的かつモジュール的な知識を備えた汎用LLMの強化の可能性を強調した。

関連論文リスト

• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)
• Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding [24.315130086787374]
  知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
  論文  参考訳（メタデータ） (2022-10-16T13:36:57Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。