論文の概要: The Vector Grounding Problem

• arxiv url: http://arxiv.org/abs/2304.01481v2
• Date: Thu, 05 Jun 2025 07:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.103173
• Title: The Vector Grounding Problem
• Title（参考訳）: ベクトル接地問題
• Authors: Dimitri Coelho Mollo, Raphaël Millière,
• Abstract要約: 表現内容の哲学的理論に基づいて, LLMは参照基底を達成できると主張している。 議論の驚くべき影響の1つは、マルチモーダリティと実施はグラウンディング問題を克服するのに必要でも十分でもないことである。
• 参考スコア（独自算出の注目度）: 0.047888359248129786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable performance of large language models (LLMs) on complex linguistic tasks has sparked debate about their capabilities. Unlike humans, these models learn language solely from textual data without directly interacting with the world. Yet they generate seemingly meaningful text on diverse topics. This achievement has renewed interest in the classical `Symbol Grounding Problem' -- the question of whether the internal representations and outputs of symbolic AI systems can possess intrinsic meaning that is not parasitic on external interpretation. Although modern LLMs compute over vectors rather than symbols, an analogous problem arises for these systems, which we call the Vector Grounding Problem. This paper has two main goals. First, we distinguish five main notions of grounding that are often conflated in the literature, and argue that only one of them, which we call referential grounding, is relevant to the Vector Grounding Problem. Second, drawing on philosophical theories of representational content, we provide two arguments for the claim that LLMs and related systems can achieve referential grounding: (1) through preference fine-tuning methods that explicitly establish world-involving functions, and (2) through pre-training alone, which in limited domains may select for internal states with world-involving content, as mechanistic interpretability research suggests. Through these pathways, LLMs can establish connections to the world sufficient for intrinsic meaning. One potentially surprising implication of our discussion is that that multimodality and embodiment are neither necessary nor sufficient to overcome the Grounding Problem.
• Abstract（参考訳）: 複雑な言語タスクにおける大規模言語モデル(LLM)の顕著な性能は、それらの能力に関する議論を引き起こしている。 人間とは異なり、これらのモデルは、世界と直接対話することなく、テキストデータから言語を学習する。 しかし、さまざまなトピックについて意味のあるテキストを生成する。 この成果は、古典的な「シンボリックグラウンディング問題」に再び興味を抱き、記号的AIシステムの内部表現と出力が、外的解釈に寄生しない本質的な意味を持つことができるかどうかという問題に疑問を呈している。 現代のLLMは記号ではなくベクトルを演算するが、これらのシステムには類似の問題が発生し、ベクトル接地問題と呼ばれる。 本論文の主な目的は2つある。 まず、文献にしばしば混ざりあうグラウンドディングの5つの主要な概念を区別し、それらのうち1つだけが参照グラウンドディングと呼ばれ、ベクトルグラウンドリング問題に関係していると論じる。 第2に、表現的内容の哲学的理論に基づいて、LLMと関連するシステムが参照基盤を達成できるという主張を2つ挙げる:(1)世界を包含する機能を明確に確立する選好的微調整法により、(2)機械論的解釈可能性研究が示すように、限定的領域において、世界包含する内容を持つ内部状態を選択することができる事前学習のみにより。 これらの経路を通じて、LLMは本質的な意味に十分な世界への接続を確立することができる。 議論の驚くべき影響の1つは、マルチモーダリティと実施はグラウンディング問題を克服するのに必要でも十分でもないことである。

関連論文リスト

• Grounding from an AI and Cognitive Science Lens [4.624355582375099]
  本稿では,認知科学と機械学習の両面から基礎を考察する。 接地者の微妙さ、共同作業者にとっての意義、および両コミュニティにおける接地アプローチの類似点と相違点を識別する。
  論文  参考訳（メタデータ） (2024-02-19T17:44:34Z)
• Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks [4.242435932138821]
  我々は、解釈可能なセマンティクスをアーキテクチャに直接組み込むニューラルネットワークのクラスについて研究する。 我々は、論理、シミュレーション、学習を組み合わせることの潜在的な難しさと重要な難しさを明らかにし、強調する。
  論文  参考訳（メタデータ） (2024-02-07T23:00:24Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Grounding for Artificial Intelligence [8.13763396934359]
  接地とは、自然言語と抽象的な知識を、知的な存在の中で現実世界の内部表現に結びつけるプロセスである。 本稿では,この問題を体系的に研究しようと試みる。
  論文  参考訳（メタデータ） (2023-12-15T04:45:48Z)
• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Grounding Gaps in Language Model Generations [67.79817087930678]
  大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。 人間に比べ、LLMは会話の基盤を減らした言語を生成する。 同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
  論文  参考訳（メタデータ） (2023-11-15T17:40:27Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。