論文の概要: Concept-Oriented Deep Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2306.17089v2
• Date: Tue, 19 Sep 2023 21:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 18:43:43.788585
• Title: Concept-Oriented Deep Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた概念指向ディープラーニング
• Authors: Daniel T. Chang
• Abstract要約: 大規模言語モデル(LLM)は、テキスト生成やAIチャットボットを含む多くの自然言語タスクやアプリケーションで成功している。 また、概念指向ディープラーニング(CODL)のための有望な新技術である。 画像からの概念抽出,画像からの概念グラフ抽出,概念学習など,CODLにおける視覚言語LLMの概念理解,最も重要なマルチモーダルLLMの活用について論じる。
• 参考スコア（独自算出の注目度）: 0.4548998901594072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been successfully used in many natural-language tasks and applications including text generation and AI chatbots. They also are a promising new technology for concept-oriented deep learning (CODL). However, the prerequisite is that LLMs understand concepts and ensure conceptual consistency. We discuss these in this paper, as well as major uses of LLMs for CODL including concept extraction from text, concept graph extraction from text, and concept learning. Human knowledge consists of both symbolic (conceptual) knowledge and embodied (sensory) knowledge. Text-only LLMs, however, can represent only symbolic (conceptual) knowledge. Multimodal LLMs, on the other hand, are capable of representing the full range (conceptual and sensory) of human knowledge. We discuss conceptual understanding in visual-language LLMs, the most important multimodal LLMs, and major uses of them for CODL including concept extraction from image, concept graph extraction from image, and concept learning. While uses of LLMs for CODL are valuable standalone, they are particularly valuable as part of LLM applications such as AI chatbots.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成やAIチャットボットを含む多くの自然言語タスクやアプリケーションで成功している。 また、概念指向ディープラーニング(CODL)のための有望な新技術である。 しかし、LLMは概念を理解し、概念整合性を確保することが必須である。 本稿では,テキストからの概念抽出,テキストからの概念グラフ抽出,概念学習など,CODLにおけるLLMの活用について論じる。 人間の知識は象徴的(概念的)知識と具体的(感覚的)知識の両方から成り立っている。 しかし、テキストのみのLLMはシンボリックな(概念的な)知識のみを表現することができる。 一方、マルチモーダルLLMは人間の知識の完全な範囲(概念と感覚)を表現できる。 画像からの概念抽出、画像からの概念グラフ抽出、概念学習など、CODLにおける視覚言語LLMの概念的理解、最も重要なマルチモーダルLLMの活用について論じる。 CODLにLLMを使うことは、スタンドアローンで有用であるが、AIチャットボットのようなLLMアプリケーションの一部として特に有用である。

関連論文リスト

• Can Large Language Models Understand DL-Lite Ontologies? An Empirical Study [10.051572826948762]
  大規模モデル(LLM)は、幅広いタスクを解く上で大きな成果を上げている。 我々は、記述論理(DL-Lite)を理解するLLMの能力を実証的に分析する。 LLMは概念と役割の形式的構文とモデル理論的意味論を理解する。
  論文  参考訳（メタデータ） (2024-06-25T13:16:34Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• Reasoning about concepts with LLMs: Inconsistencies abound [13.042591838719936]
  大きな言語モデル(LLM)は、しばしばその知識に重大な矛盾を示し、示す。 特に,多種多種多種多種多様のLCMの軽量化を図り,その性能を著しく向上させることができた。
  論文  参考訳（メタデータ） (2024-05-30T15:38:54Z)
• Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
  emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 本稿では,「知識」のレンズを用いた大規模モデルについて考察する。 人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
  論文  参考訳（メタデータ） (2023-12-05T12:07:30Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Towards Concept-Aware Large Language Models [56.48016300758356]
  概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。 概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。 本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:19:22Z)
• TouchStone: Evaluating Vision-Language Models by Language Models [91.69776377214814]
  本稿では,LVLMの様々な能力を総合的に評価するために,強大な言語モデルを用いた評価手法を提案する。 オープンワールドイメージと質問からなる包括的ビジュアル対話データセットTouchStoneを構築し,5つの主要な機能カテゴリと27のサブタスクをカバーした。 GPT-4のような強力なLVLMは、テキスト機能のみを活用することで、対話品質を効果的に評価できることを実証する。
  論文  参考訳（メタデータ） (2023-08-31T17:52:04Z)
• Link-Context Learning for Multimodal LLMs [40.923816691928536]
  リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。 LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。 本手法の評価を容易にするため,ISEKAIデータセットを提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:33:24Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。