論文の概要: Defining Knowledge: Bridging Epistemology and Large Language Models
- arxiv url: http://arxiv.org/abs/2410.02499v1
- Date: Thu, 3 Oct 2024 14:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 02:51:33.732546
- Title: Defining Knowledge: Bridging Epistemology and Large Language Models
- Title(参考訳): 知識の定義:ブリッジング認識論と大規模言語モデル
- Authors: Constanza Fierro, Ruchira Dhar, Filippos Stamatiou, Nicolas Garneau, Anders Søgaard,
- Abstract要約: 我々は、NLPにおける知識の標準定義をレビューし、大言語モデル(LLM)に適用可能な解釈を形式化する。
我々は100人のプロの哲学者と計算機科学者を対象に、知識定義における彼らの好みと、LLMが本当に知っていけるかどうかについての見解を比較する。
- 参考スコア(独自算出の注目度): 37.41866724160848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge claims are abundant in the literature on large language models (LLMs); but can we say that GPT-4 truly "knows" the Earth is round? To address this question, we review standard definitions of knowledge in epistemology and we formalize interpretations applicable to LLMs. In doing so, we identify inconsistencies and gaps in how current NLP research conceptualizes knowledge with respect to epistemological frameworks. Additionally, we conduct a survey of 100 professional philosophers and computer scientists to compare their preferences in knowledge definitions and their views on whether LLMs can really be said to know. Finally, we suggest evaluation protocols for testing knowledge in accordance to the most relevant definitions.
- Abstract(参考訳): 大きな言語モデル(LLM)に関する文献では知識の主張が豊富だが、GPT-4は本当に地球が丸いことを「知っている」と言えるだろうか?
本稿では,認識論における知識の標準的な定義を概観し,LLMに適用可能な解釈を定式化する。
そこで我々は,現在のNLP研究が認識論的な枠組みに関して知識を概念化する過程において,矛盾とギャップを識別する。
さらに、100人のプロの哲学者やコンピュータ科学者を対象に、知識定義における彼らの好みと、LLMが本当に知っていけるかどうかについての見解を比較する。
最後に、最も関連する定義に従って知識をテストするための評価プロトコルを提案する。
関連論文リスト
- Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。
LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
論文 参考訳(メタデータ) (2024-07-22T06:15:59Z) - Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。
CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。
KnowReasonで広範な実験を行う。
論文 参考訳(メタデータ) (2024-06-30T10:49:32Z) - Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction [15.534647327246239]
大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。
我々は、LLMの文脈内学習能力を活用し、LLMが知識ベースに格納されている事実を知る範囲を推定する。
論文 参考訳(メタデータ) (2024-04-19T15:40:39Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳(メタデータ) (2024-04-04T16:40:11Z) - Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。
本稿では,「知識」のレンズを用いた大規模モデルについて考察する。
人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
論文 参考訳(メタデータ) (2023-12-05T12:07:30Z) - Do PLMs Know and Understand Ontological Knowledge? [72.48752398867651]
オントロジー知識はクラスと性質とそれらの関係から構成される。
このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。
以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
論文 参考訳(メタデータ) (2023-09-12T03:20:50Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳(メタデータ) (2022-11-08T08:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。