論文の概要: Unpacking Large Language Models with Conceptual Consistency
- arxiv url: http://arxiv.org/abs/2209.15093v1
- Date: Thu, 29 Sep 2022 20:55:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 15:26:25.861445
- Title: Unpacking Large Language Models with Conceptual Consistency
- Title（参考訳）: 概念整合性で大規模言語モデルを解き放つ
- Authors: Pritish Sahu, Michael Cogswell, Yunye Gong, Ajay Divakaran
- Abstract要約: 本稿では,大言語モデルの関連する概念に対する理解を測定するために,概念整合性を提案する。
この新しい尺度は、概念的に関連する背景知識に関するクエリに対する応答がいかに一貫性があるかを明らかにすることで、モデルがいかにうまく機能するかを測定する。
- 参考スコア（独自算出の注目度）: 14.224799628694592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: If a Large Language Model (LLM) answers "yes" to the question "Are mountains
tall?" then does it know what a mountain is? Can you rely on it responding
correctly or incorrectly to other questions about mountains? The success of
Large Language Models (LLMs) indicates they are increasingly able to answer
queries like these accurately, but that ability does not necessarily imply a
general understanding of concepts relevant to the anchor query. We propose
conceptual consistency to measure a LLM's understanding of relevant concepts.
This novel metric measures how well a model can be characterized by finding out
how consistent its responses to queries about conceptually relevant background
knowledge are. To compute it we extract background knowledge by traversing
paths between concepts in a knowledge base and then try to predict the model's
response to the anchor query from the background knowledge. We investigate the
performance of current LLMs in a commonsense reasoning setting using the CSQA
dataset and the ConceptNet knowledge base. While conceptual consistency, like
other metrics, does increase with the scale of the LLM used, we find that
popular models do not necessarily have high conceptual consistency. Our
analysis also shows significant variation in conceptual consistency across
different kinds of relations, concepts, and prompts. This serves as a step
toward building models that humans can apply a theory of mind to, and thus
interact with intuitively.
- Abstract（参考訳）: 大型言語モデル(LLM)が「山の高さ」に「はい」と答えるなら、それは山が何であるかを知っていますか?
山に関する他の質問に対して、正しく、または正しく対応できるでしょうか?
大規模言語モデル(llm)の成功は、このようなクエリに正確に答えられるようになったことを示しているが、その能力は必ずしもアンカークエリに関連する概念の一般的な理解を意味するものではない。
関連する概念に対するllmの理解を測定するために,概念整合性を提案する。
この新しいメトリックは、概念的に関連する背景知識に関するクエリに対する応答がどの程度一貫性があるかを見つけることによって、モデルがいかにうまく機能するかを測定する。
そこで我々は,知識ベースにおける概念間の経路をトラバースして背景知識を抽出し,アンカークエリに対するモデルの応答を背景知識から予測する。
CSQAデータセットとConceptNet知識ベースを用いた常識推論における現在のLCMの性能について検討する。
概念整合性は他の指標と同様にLLMのスケールで増大するが、一般的なモデルは必ずしも高い概念整合性を持つとは限らない。
我々の分析は、異なる種類の関係、概念、プロンプトにまたがる概念整合性の顕著な変化を示す。
これは、人間が心の理論を適用し、直感的に相互作用できるモデルを構築するためのステップとなる。
関連論文リスト
- Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。
我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。
差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
論文 参考訳（メタデータ） (2024-06-27T19:29:36Z) - Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers? [57.04803703952721]
大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。
しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。
我々は、より複雑な概念が一般的により深い層で取得されることを示すために、概念深さの概念を紹介します。
論文 参考訳（メタデータ） (2024-04-10T14:56:40Z) - Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。
KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。
具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
論文 参考訳（メタデータ） (2023-10-12T09:12:50Z) - Prophet: Prompting Large Language Models with Complementary Answer
Heuristics for Knowledge-based Visual Question Answering [30.858737348472626]
知識に基づく視覚的質問応答(VQA)は、質問に答えるために、画像以外の外部知識を必要とする。
近年の研究では,暗黙の知識エンジンとして強力な大規模言語モデル (LLM) を用いることで,回答に必要な知識を獲得している。
本稿では,知識に基づくVQAの解答をLCMに促すための,概念的にシンプルで柔軟な,汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-03T13:05:15Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳（メタデータ） (2022-12-02T04:08:09Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳（メタデータ） (2022-11-08T08:18:06Z) - CIKQA: Learning Commonsense Inference with a Unified
Knowledge-in-the-loop QA Paradigm [120.98789964518562]
我々は,コモンセンス知識の大規模化により,すべてのコモンセンスをカバーできるような,各タスクに十分なトレーニングセットをアノテートすることは不可能である,と論じる。
モデルのコモンセンス推論能力について,2つの観点から検討する。
我々は、このベンチマークを知識-イン-ループ質問回答(CIKQA)を用いたCommonsense Inferenceと命名した。
論文 参考訳（メタデータ） (2022-10-12T14:32:39Z) - Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳（メタデータ） (2022-09-17T08:48:50Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳（メタデータ） (2022-01-21T19:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。