論文の概要: Large language models converge toward human-like concept organization

• arxiv url: http://arxiv.org/abs/2308.15047v1
• Date: Tue, 29 Aug 2023 06:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:40:39.174345
• Title: Large language models converge toward human-like concept organization
• Title（参考訳）: 大規模言語モデルは人間のような概念組織に収束する
• Authors: Mathias Lykke Gammelgaard, Jonathan Gabel Christiansen, Anders S{\o}gaard
• Abstract要約: 大規模言語モデルは、概念が知識ベースでどのように組織化されているかと著しく類似した方法で概念を組織化することを学ぶ。 4つの言語モデルと3つの知識グラフの埋め込みにまたがる、より人間的な概念構造が、より大きく、より優れたモデルで示されています。
• 参考スコア（独自算出の注目度）: 5.174023161939957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models show human-like performance in knowledge extraction, reasoning and dialogue, but it remains controversial whether this performance is best explained by memorization and pattern matching, or whether it reflects human-like inferential semantics and world knowledge. Knowledge bases such as WikiData provide large-scale, high-quality representations of inferential semantics and world knowledge. We show that large language models learn to organize concepts in ways that are strikingly similar to how concepts are organized in such knowledge bases. Knowledge bases model collective, institutional knowledge, and large language models seem to induce such knowledge from raw text. We show that bigger and better models exhibit more human-like concept organization, across four families of language models and three knowledge graph embeddings.
• Abstract（参考訳）: 大規模言語モデルは、知識抽出、推論、対話において人間のようなパフォーマンスを示すが、このパフォーマンスが記憶とパターンマッチングによって最もよく説明されているか、あるいは人間のような推論的セマンティクスや世界知識を反映しているかは議論の余地がある。 WikiDataのような知識ベースは、推論意味論と世界知識の大規模で高品質な表現を提供する。 大規模言語モデルは,そのような知識ベースにおける概念の組織化方法と非常によく似た方法で概念を体系化することを学ぶ。 知識ベースは集合的知識、制度的知識、および大きな言語モデルであり、原文からそのような知識を誘導しているようである。 4つの言語モデルと3つの知識グラフの埋め込みにまたがる、より人間的な概念構造がより大きく、より優れたモデルで示されています。

関連論文リスト

• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• The Sociolinguistic Foundations of Language Modeling [34.02231580843069]
  我々は、大きな言語モデルは本質的に言語の多様性のモデルであると主張する。 この視点が言語モデリングにおける5つの基本的な課題にどのように対処できるかについて議論する。
  論文  参考訳（メタデータ） (2024-07-12T13:12:55Z)
• Bootstrapping Cognitive Agents with a Large Language Model [0.9971537447334835]
  大規模な言語モデルは、世界の騒々しい一般的な知識を含んでいるが、訓練や微調整は困難である。 この研究では、認知モデルと大きな言語モデルで符号化されたノイズの多い知識をブートストラップで組み合わせます。
  論文  参考訳（メタデータ） (2024-02-25T01:40:30Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• Large Language Models for Scientific Synthesis, Inference and Explanation [56.41963802804953]
  大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。 我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。 このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
  論文  参考訳（メタデータ） (2023-10-12T02:17:59Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。