論文の概要: "Understanding AI": Semantic Grounding in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.10992v1
• Date: Fri, 16 Feb 2024 14:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 00:00:21.930854
• Title: "Understanding AI": Semantic Grounding in Large Language Models
• Title（参考訳）: 「Understanding AI」:大規模言語モデルにおける意味的接地
• Authors: Holger Lyre
• Abstract要約: LLMを含む生成モデルが自己教師型学習の鍵となるため、私たちは最近、AIの世代的転換を目撃しました。 セマンティック・グラウンディングの課題を評価するために,5つの方法論を区別し,議論する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do LLMs understand the meaning of the texts they generate? Do they possess a semantic grounding? And how could we understand whether and what they understand? I start the paper with the observation that we have recently witnessed a generative turn in AI, since generative models, including LLMs, are key for self-supervised learning. To assess the question of semantic grounding, I distinguish and discuss five methodological ways. The most promising way is to apply core assumptions of theories of meaning in philosophy of mind and language to LLMs. Grounding proves to be a gradual affair with a three-dimensional distinction between functional, social and causal grounding. LLMs show basic evidence in all three dimensions. A strong argument is that LLMs develop world models. Hence, LLMs are neither stochastic parrots nor semantic zombies, but already understand the language they generate, at least in an elementary sense.
• Abstract（参考訳）: LLMは生成するテキストの意味を理解していますか? 彼らは意味的な根拠を持っていますか? 彼らが何を理解しているのか どのように理解できるでしょうか? LLMを含む生成モデルが自己教師型学習の鍵となるので、最近私たちはAIの世代的転換を目の当たりにしました。 セマンティック・グラウンディングの課題を評価するために,5つの方法論を区別し,議論する。 最も有望な方法は、心の哲学と言語における意味の理論のコア仮定をLLMに適用することである。 接地は、機能的、社会的、因果的接地を3次元的に区別した段階的な関係であることが証明される。 LLMは3次元すべてに基本的な証拠を示す。 LLMは世界モデルを開発するという強い主張がある。 したがって、LLMは確率的なオウムでもセマンティックゾンビでもないが、少なくとも初等的な意味で、彼らが生成する言語を既に理解している。

関連論文リスト

• Multilingual Trolley Problems for Language Models [138.0995992619116]
  この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。 大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。 また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  AlignedCoTは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• LLMs grasp morality in concept [0.46040036610482665]
  我々は人間を超えて広がる意味の一般的な理論を提供する。 我々は,LLMが意味エージェントとしての地位から,すでに人間の社会の構造を把握していることを示唆している。 不整合モデルは、道徳的および社会的哲学をより良く発展させるのに役立つかもしれない。
  論文  参考訳（メタデータ） (2023-11-04T01:37:41Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)
• Meaning and understanding in large language models [0.0]
  人工知能の生成的大言語モデル(LLM)の最近の発展は、機械による言語理解に関する伝統的な哲学的仮定を改訂する必要があるという信念を導いた。 本稿では,機械語の性能を単なる統語的操作と見なす傾向と理解のシミュレーションを批判的に評価する。
  論文  参考訳（メタデータ） (2023-10-26T14:06:14Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Large Language Models and the Reverse Turing Test [0.0]
  LLMのインテリジェンスに見えるのは、実際にインタビュアーのインテリジェンスを反映したミラーかもしれない。 LLMがより能力を持つようになると、情報へのアクセスと利用の方法を変えるかもしれません。
  論文  参考訳（メタデータ） (2022-07-28T21:22:47Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。