論文の概要: Epistemology of Language Models: Do Language Models Have Holistic Knowledge?

• arxiv url: http://arxiv.org/abs/2403.12862v1
• Date: Tue, 19 Mar 2024 16:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:34:19.961664
• Title: Epistemology of Language Models: Do Language Models Have Holistic Knowledge?
• Title（参考訳）: 言語モデルの認識論:言語モデルは全体論的知識を持つか?
• Authors: Minsu Kim, James Thorne,
• Abstract要約: 本稿では,言語モデルにおける本質的な知識をホリズムの観点から検討する。 本研究の目的は,言語モデルの特徴がホリズムと一致しているかどうかを検討することである。
• 参考スコア（独自算出の注目度）: 30.02796959216552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the inherent knowledge in language models from the perspective of epistemological holism. The purpose of this paper is to explore whether LLMs exhibit characteristics consistent with epistemological holism. These characteristics suggest that core knowledge, such as general scientific knowledge, each plays a specific role, serving as the foundation of our knowledge system and being difficult to revise. To assess these traits related to holism, we created a scientific reasoning dataset and examined the epistemology of language models through three tasks: Abduction, Revision, and Argument Generation. In the abduction task, the language models explained situations while avoiding revising the core knowledge. However, in other tasks, the language models were revealed not to distinguish between core and peripheral knowledge, showing an incomplete alignment with holistic knowledge principles.
• Abstract（参考訳）: 本稿では,言語モデルにおける固有知識について,認識論的ホリズムの観点から検討する。 本研究の目的は,LLMが認識論的ホリズムに整合した特徴を示すかどうかを検討することである。 これらの特徴は、一般的な科学的知識のような中核的な知識が、それぞれが特定の役割を担い、知識体系の基盤として機能し、修正が難しいことを示唆している。 ホリズムに関連するこれらの特徴を評価するため,我々は科学的推論データセットを作成し,3つの課題(減量,修正,論説生成)を通して言語モデルの認識論を考察した。 誘拐作業では、言語モデルはコア知識の改訂を避けながら状況を説明しました。 しかし、他のタスクでは、言語モデルがコア知識と周辺知識を区別しないことが明らかにされ、全体的な知識原理と不完全な一致を示した。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Language Models as Models of Language [0.0]
  この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
  論文  参考訳（メタデータ） (2024-08-13T18:26:04Z)
• Modelling Language [0.0]
  本稿では,大規模言語モデルが言語科学モデルとして機能する上で重要な科学的役割を担っていることを論じる。 これは、大規模な言語モデルが科学モデルとしてどのように機能するかを示すために、科学哲学における最近の研究に基づいている。
  論文  参考訳（メタデータ） (2024-04-15T08:40:01Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• A Philosophical Introduction to Language Models -- Part I: Continuity With Classic Debates [0.05657375260432172]
  この記事では、哲学者の言語モデルに関するプライマーとしての役割と、その重要性に関する世論調査としての役割について述べる。 言語モデルの成功は、人工ニューラルネットワークに関する長年の仮定に挑戦するものだ、と我々は主張する。 これは、共用紙(Part II)のステージを設定し、言語モデルの内部動作を探索するための新しい経験的手法に転換する。
  論文  参考訳（メタデータ） (2024-01-08T14:12:31Z)
• On General Language Understanding [18.2932386988379]
  本稿では,モデル品質の測定方法の妥当性に関する疑問を解き明かすことができる理解モデルの概要を概説する。 A) 異なる言語使用状況タイプが異なる特徴を持っていること、B) 言語理解は多面的な現象であること、C) 理解指標の選択はベンチマークの限界を示すこと、である。
  論文  参考訳（メタデータ） (2023-10-27T10:36:54Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• O-Dang! The Ontology of Dangerous Speech Messages [53.15616413153125]
  O-Dang!:The Ontology of Dangerous Speech Messages, a systematic and interoperable Knowledge Graph (KG) O-Dang!は、Lingguistic Linked Open Dataコミュニティで共有されている原則に従って、イタリアのデータセットを構造化されたKGにまとめ、整理するように設計されている。 ゴールド・スタンダードとシングル・アノテータのラベルをKGにエンコードするモデルを提供する。
  論文  参考訳（メタデータ） (2022-07-13T11:50:05Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。