論文の概要: Language Models Represent Space and Time

• arxiv url: http://arxiv.org/abs/2310.02207v1
• Date: Tue, 3 Oct 2023 17:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 13:17:19.339524
• Title: Language Models Represent Space and Time
• Title（参考訳）: 空間と時間を表す言語モデル
• Authors: Wes Gurnee, Max Tegmark
• Abstract要約: Llama-2モデルの3つの空間的データセット(世界,アメリカ,ニューヨーク)と3つの時間的データセット(歴史図形,アートワーク,ニュースヘッドライン)を解析した。 LLMが複数のスケールにわたる空間と時間の線形表現を学習することを発見した。 さらに、空間座標と時間座標を確実にエンコードする個々の空間ニューロンと時間ニューロンを同定する。
• 参考スコア（独自算出の注目度）: 7.754489121381947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The capabilities of large language models (LLMs) have sparked debate over whether such systems just learn an enormous collection of superficial statistics or a coherent model of the data generating process -- a world model. We find evidence for the latter by analyzing the learned representations of three spatial datasets (world, US, NYC places) and three temporal datasets (historical figures, artworks, news headlines) in the Llama-2 family of models. We discover that LLMs learn linear representations of space and time across multiple scales. These representations are robust to prompting variations and unified across different entity types (e.g. cities and landmarks). In addition, we identify individual ``space neurons'' and ``time neurons'' that reliably encode spatial and temporal coordinates. Our analysis demonstrates that modern LLMs acquire structured knowledge about fundamental dimensions such as space and time, supporting the view that they learn not merely superficial statistics, but literal world models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力は、そのようなシステムが巨大な表面統計の収集やデータ生成プロセスの一貫性のあるモデル(世界モデル)を学ぶだけなのかという議論を引き起こしている。 Llama-2モデルの3つの空間的データセット(世界,アメリカ,ニューヨーク)と3つの時間的データセット(歴史図形,アートワーク,ニュースヘッドライン)の学習された表現を分析して,後者の証拠を発見した。 LLMは複数のスケールにわたる空間と時間の線形表現を学ぶ。 これらの表現は変化を促すために堅牢であり、異なる実体タイプ(都市やランドマークなど)で統一される。 さらに空間的および時間的座標を確実にエンコードする個々の「空間的ニューロン」と「時間的ニューロン」を識別する。 我々の分析は、現代のLLMが空間や時間といった基本的な次元に関する構造化された知識を習得し、表面的な統計だけでなくリテラル世界モデルも学べるという考え方を支持することを実証している。

関連論文リスト

• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)
• When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models [113.18524940863841]
  本調査では,大規模言語モデルによる3Dデータの処理,理解,生成を可能にする方法論の概要について概説する。 我々の研究は、点雲からニューラル放射場(NeRF)まで、様々な3次元データ表現にまたがっている。 3Dシーン理解、キャプション、質問応答、対話などのタスクにおいて、LLMとの統合を検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:59:58Z)
• LAMP: A Language Model on the Map [13.75316123602933]
  大規模言語モデル(LLM)は、私たちの生活においてますます重要な役割を担い、幅広いタスクに補助を提供しています。 本研究では,都市固有のデータに基づいて事前学習したモデルを微調整し,正確なレコメンデーションを実現するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-14T02:56:38Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• More than Correlation: Do Large Language Models Learn Causal Representations of Space? [6.293100288400849]
  本研究では,大規模言語モデルにおける空間表現の因果関係を明らかにすることに焦点を当てた。 実験の結果,空間表現が次の単語予測におけるモデルの性能に影響を与え,地理空間情報に依存する下流課題が示された。
  論文  参考訳（メタデータ） (2023-12-26T01:27:29Z)
• Evaluating Spatial Understanding of Large Language Models [26.436450329727645]
  大規模言語モデルは、様々なタスクにまたがる顕著な能力を示している。 近年の研究では、LLM表現は基礎となる基礎概念の側面を暗黙的に捉えていることが示唆されている。 自然言語ナビゲーションタスクを設計し,空間構造を表現・推論するLLMの能力を評価する。
  論文  参考訳（メタデータ） (2023-10-23T03:44:40Z)
• Things not Written in Text: Exploring Spatial Commonsense from Visual Signals [77.46233234061758]
  視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。 本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。 画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-03-15T17:02:30Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• LEAP: Learning Articulated Occupancy of People [56.35797895609303]
  我々は、人体の新たな神経占有表現であるleap(learning articulated occupancy of people)を紹介する。 骨変換の集合と空間内の問合せ点が与えられると、leapはまずクエリポイントを学習線形ブレンドスキン(lbs)関数を介して正準空間にマッピングする。 LEAPは、正則空間における正確な同一性およびポーズ依存変形をモデル化する占有ネットワークを介して、占有値を効率的にクエリする。
  論文  参考訳（メタデータ） (2021-04-14T13:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。