論文の概要: Towards Concept-Aware Large Language Models

• arxiv url: http://arxiv.org/abs/2311.01866v1
• Date: Fri, 3 Nov 2023 12:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 14:23:44.897890
• Title: Towards Concept-Aware Large Language Models
• Title（参考訳）: 概念対応型大規模言語モデルに向けて
• Authors: Chen Shani, Jilles Vreeken, Dafna Shahaf
• Abstract要約: 概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。 概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。 本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
• 参考スコア（独自算出の注目度）: 56.48016300758356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concepts play a pivotal role in various human cognitive functions, including learning, reasoning and communication. However, there is very little work on endowing machines with the ability to form and reason with concepts. In particular, state-of-the-art large language models (LLMs) work at the level of tokens, not concepts. In this work, we analyze how well contemporary LLMs capture human concepts and their structure. We then discuss ways to develop concept-aware LLMs, taking place at different stages of the pipeline. We sketch a method for pretraining LLMs using concepts, and also explore the simpler approach that uses the output of existing LLMs. Despite its simplicity, our proof-of-concept is shown to better match human intuition, as well as improve the robustness of predictions. These preliminary results underscore the promise of concept-aware LLMs.
• Abstract（参考訳）: 概念は、学習、推論、コミュニケーションを含む様々な人間の認知機能において重要な役割を果たす。 しかし、概念を形成・推論する能力を持つエンドウイングマシンの作業はほとんどない。 特に最先端の大規模言語モデル(llm)は概念ではなくトークンのレベルで機能する。 本研究では,現代LLMが人間の概念とその構造をどのように捉えているかを分析する。 次に、パイプラインの異なる段階で行われる概念対応LLMを開発する方法について論じる。 本稿では,概念を用いたLLMの事前学習手法をスケッチし,既存のLLMの出力を用いたシンプルなアプローチを検討する。 その単純さにもかかわらず、私たちの概念実証は人間の直感と一致し、予測の堅牢性を改善することが示されている。 これらの予備的な結果は、概念認識llmの約束の基礎となる。

関連論文リスト

• Enhancing Advanced Visual Reasoning Ability of Large Language Models [20.32900494896848]
  VL(Vision-Language)研究の最近の進歩は、複雑な視覚的推論のための新しいベンチマークを引き起こした。 我々はCVR-LLM(Complex Visual Reasoning Large Language Models)を提案する。 提案手法は,反復的自己修正ループを用いて,画像の詳細なコンテキスト認識記述に変換する。 また、LLMの文脈的理解と推論を強化するために、新しいマルチモーダル・インコンテキスト学習(ICL)手法を導入する。
  論文  参考訳（メタデータ） (2024-09-21T02:10:19Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• MyVLM: Personalizing VLMs for User-Specific Queries [78.33252556805931]
  視覚言語モデルのパーソナライズに向けての第一歩を踏み出し,ユーザが提供する概念を学習し,推論することを可能にする。 様々なユーザ固有の概念を効果的に認識するために,モデルのトグルとして機能する外部概念ヘッドを付加する。 この概念を認識して、VLMの中間機能空間に埋め込まれた新しい概念を学習する。 この埋め込みは、言語モデルを誘導し、ターゲットの概念を生成された応答に自然に統合する。
  論文  参考訳（メタデータ） (2024-03-21T17:51:01Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)
• Concept-Oriented Deep Learning with Large Language Models [0.4548998901594072]
  大規模言語モデル(LLM)は、テキスト生成やAIチャットボットを含む多くの自然言語タスクやアプリケーションで成功している。 また、概念指向ディープラーニング(CODL)のための有望な新技術である。 画像からの概念抽出,画像からの概念グラフ抽出,概念学習など,CODLにおける視覚言語LLMの概念理解,最も重要なマルチモーダルLLMの活用について論じる。
  論文  参考訳（メタデータ） (2023-06-29T16:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。