論文の概要: The Vector Grounding Problem

• arxiv url: http://arxiv.org/abs/2304.01481v1
• Date: Tue, 4 Apr 2023 02:54:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 15:44:39.875604
• Title: The Vector Grounding Problem
• Title（参考訳）: ベクトル接地問題
• Authors: Dimitri Coelho Mollo, Rapha\"el Milli\`ere
• Abstract要約: 我々は、基準接地はベクトル接地問題の中心にあるものであると論じる。 また、おそらく予期せぬことに、マルチモーダリティと実施は、人工システムにおける参照接地に必要な条件や十分な条件ではないと論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable performance of large language models (LLMs) on complex linguistic tasks has sparked a lively debate on the nature of their capabilities. Unlike humans, these models learn language exclusively from textual data, without direct interaction with the real world. Nevertheless, they can generate seemingly meaningful text about a wide range of topics. This impressive accomplishment has rekindled interest in the classical 'Symbol Grounding Problem,' which questioned whether the internal representations and outputs of classical symbolic AI systems could possess intrinsic meaning. Unlike these systems, modern LLMs are artificial neural networks that compute over vectors rather than symbols. However, an analogous problem arises for such systems, which we dub the Vector Grounding Problem. This paper has two primary objectives. First, we differentiate various ways in which internal representations can be grounded in biological or artificial systems, identifying five distinct notions discussed in the literature: referential, sensorimotor, relational, communicative, and epistemic grounding. Unfortunately, these notions of grounding are often conflated. We clarify the differences between them, and argue that referential grounding is the one that lies at the heart of the Vector Grounding Problem. Second, drawing on theories of representational content in philosophy and cognitive science, we propose that certain LLMs, particularly those fine-tuned with Reinforcement Learning from Human Feedback (RLHF), possess the necessary features to overcome the Vector Grounding Problem, as they stand in the requisite causal-historical relations to the world that underpin intrinsic meaning. We also argue that, perhaps unexpectedly, multimodality and embodiment are neither necessary nor sufficient conditions for referential grounding in artificial systems.
• Abstract（参考訳）: 複雑な言語タスクにおける大規模言語モデル(llm)の顕著な性能は、その能力の性質に関する活発な議論を引き起こした。 人間とは異なり、これらのモデルは現実世界と直接対話することなく、テキストデータから言語を学習する。 それでも、幅広いトピックに関する一見意味のあるテキストを生成することができる。 この印象的な成果は、古典的象徴的aiシステムの内部表現と出力が固有の意味を持つかどうかを問う古典的「記号的接地問題」への関心を再び高めた。 これらのシステムとは異なり、現代のLLMは記号ではなくベクトルを演算する人工ニューラルネットワークである。 しかし、そのような系に類似した問題が発生し、ベクトル接地問題を解く。 本論文には2つの主な目的がある。 まず, 生体・人工系において内的表現を基盤として, 文献で議論される5つの異なる概念, 参照, 感覚運動, 関係性, コミュニケーション的, 認識的接地を識別する。 残念ながら、これらの接地概念はしばしば混同される。 両者の違いを明確にし,ベクトル接地問題の中心にある基準接地は参照接地であると主張する。 第二に、哲学・認知科学における表現的内容の理論に基づいて、特定のLLM(特に人間からのフィードバックからの強化学習(RLHF))は、本質的な意味の根底をなす世界との因果的歴史的関係にあるため、ベクトル接地問題を克服するために必要な特徴を持っていることを提唱する。 また、おそらく予期せぬことに、マルチモーダリティと実施は、人工システムにおける参照接地に必要な条件や十分な条件ではないと論じる。

関連論文リスト

• Grounding from an AI and Cognitive Science Lens [4.624355582375099]
  本稿では,認知科学と機械学習の両面から基礎を考察する。 接地者の微妙さ、共同作業者にとっての意義、および両コミュニティにおける接地アプローチの類似点と相違点を識別する。
  論文  参考訳（メタデータ） (2024-02-19T17:44:34Z)
• Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks [4.242435932138821]
  我々は、解釈可能なセマンティクスをアーキテクチャに直接組み込むニューラルネットワークのクラスについて研究する。 我々は、論理、シミュレーション、学習を組み合わせることの潜在的な難しさと重要な難しさを明らかにし、強調する。
  論文  参考訳（メタデータ） (2024-02-07T23:00:24Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Grounding for Artificial Intelligence [8.13763396934359]
  接地とは、自然言語と抽象的な知識を、知的な存在の中で現実世界の内部表現に結びつけるプロセスである。 本稿では,この問題を体系的に研究しようと試みる。
  論文  参考訳（メタデータ） (2023-12-15T04:45:48Z)
• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Grounding Gaps in Language Model Generations [67.79817087930678]
  大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。 人間に比べ、LLMは会話の基盤を減らした言語を生成する。 同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
  論文  参考訳（メタデータ） (2023-11-15T17:40:27Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。