論文の概要: Large Knowledge Model: Perspectives and Challenges

• arxiv url: http://arxiv.org/abs/2312.02706v1
• Date: Tue, 5 Dec 2023 12:07:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 15:41:36.384107
• Title: Large Knowledge Model: Perspectives and Challenges
• Title（参考訳）: 大規模知識モデル:展望と課題
• Authors: Huajun Chen
• Abstract要約: emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 この記事は「知識のレンズを通して大きなモデルを探求する」。 我々は,多種多様な知識構造を管理するために特別に設計されたemphLarge Knowledge Models(LKM)の作成を提唱する。
• 参考スコア（独自算出の注目度）: 37.42721596964844
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Humankind's understanding of the world is fundamentally linked to our perception and cognition, with \emph{human languages} serving as one of the major carriers of \emph{world knowledge}. In this vein, \emph{Large Language Models} (LLMs) like ChatGPT epitomize the pre-training of extensive, sequence-based world knowledge into neural networks, facilitating the processing and manipulation of this knowledge in a parametric space. This article explores large models through the lens of ``knowledge''. We initially investigate the role of symbolic knowledge such as Knowledge Graphs (KGs) in enhancing LLMs, covering aspects like knowledge-augmented language model, structure-inducing pre-training, knowledgeable prompts, structured CoT, knowledge editing, semantic tools for LLM and knowledgeable AI agents. Subsequently, we examine how LLMs can amplify traditional symbolic knowledge bases, encompassing aspects like using LLM as KG builder and controller, structured knowledge pretraining, LLM-enhanced symbolic reasoning, and the amalgamation of perception with cognition. Considering the intricate nature of human knowledge, we advocate for the creation of \emph{Large Knowledge Models} (LKM), specifically engineered to manage diversified spectrum of knowledge structures. This ambitious undertaking could entail several key challenges, such as disentangling knowledge representation from language models, restructuring pre-training with structured knowledge, and building large commonsense models, among others. We finally propose a five-``A'' principle to distinguish the concept of LKM.
• Abstract（参考訳）: 人類の世界の理解は、基本的に私たちの認識と認知と結びついており、 \emph{human languages} は \emph{world knowledge} の主要なキャリアの1つとなっている。 この例では、ChatGPT のような \emph{Large Language Models} (LLMs) は、広範囲のシーケンスベースの世界知識をニューラルネットワークに事前学習し、パラメトリック空間におけるこの知識の処理と操作を容易にする。 この記事では、'knowledge'のレンズを通して大きなモデルを探索する。 まず,LLMの強化における知識グラフ(KG)などの記号的知識の役割について検討し,知識強化言語モデル,構造化事前学習,知識に富んだプロンプト,構造化されたCoT,知識編集,LLMのセマンティックツール,知識可能なAIエージェントなどの側面について考察する。 次に,LLMをKGビルダーとコントローラとして使用すること,構造化知識事前学習,LLM強化記号推論,認知による知覚の融合など,従来の記号的知識基盤をどのように増幅するかを検討する。 人間の知識の複雑な性質を考えると,我々は,多種多様な知識構造を管理するために特別に設計された 'emph{Large Knowledge Models} (LKM) の作成を提唱する。 この野心的な取り組みは、言語モデルからの知識表現の切り離し、構造化された知識による事前学習の再構築、大規模なコモンセンスモデルの構築など、いくつかの重要な課題を伴う可能性がある。 最終的に LKM の概念を区別する 5-`A' の原理を提案する。

関連論文リスト

• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• MechGPT, a language-based strategy for mechanics and materials modeling that connects knowledge across scales, disciplines and modalities [0.0]
  我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。 得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
  論文  参考訳（メタデータ） (2023-10-16T14:29:35Z)
• From task structures to world models: What do LLMs know? [0.0]
  大規模言語モデルにはどのような意味があるのでしょうか? 我々は LLM に「制度的な知識」を与えることで答える。 そして、そのような知識が、人間のエージェントによって提示されるより普通の「現実的な」知識とどのように関連しているかを問う。
  論文  参考訳（メタデータ） (2023-10-06T14:21:59Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。