論文の概要: World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings

• arxiv url: http://arxiv.org/abs/2603.04317v1
• Date: Wed, 04 Mar 2026 17:37:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.428525
• Title: World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings
• Title（参考訳）: 世界モデルのない世界特性:静的な単語埋め込みにおける共起統計から空間的・時間的構造を復元する
• Abstract要約: 都市座標では0.71-0.87、歴史的生年では0.48-0.52である。 これらの結果から, 通常の単語共起は, しばしば想定されるよりも, 空間的, 時間的, 環境的構造を豊かに保っていることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work interprets the linear recoverability of geographic and temporal variables from large language model (LLM) hidden states as evidence for world-like internal representations. We test a simpler possibility: that much of the relevant structure is already latent in text itself. Applying the same class of ridge regression probes to static co-occurrence-based embeddings (GloVe and Word2Vec), we find substantial recoverable geographic signal and weaker but reliable temporal signal, with held-out R^2 values of 0.71-0.87 for city coordinates and 0.48-0.52 for historical birth years. Semantic-neighbor analyses and targeted subspace ablations show that these signals depend strongly on interpretable lexical gradients, especially country names and climate-related vocabulary. These findings suggest that ordinary word co-occurrence preserves richer spatial, temporal, and environmental structure than is often assumed, revealing a remarkable and underappreciated capacity of simple static embeddings to preserve world-shaped structure from text alone. Linear probe recoverability alone therefore does not establish a representational move beyond text.
• Abstract（参考訳）: 最近の研究は、大言語モデル(LLM)の隠れ状態から地理的変数と時間変数の線形復元可能性について、世界に似た内部表現の証拠として解釈している。 関連した構造の多くが、すでにテキスト自体に潜んでいる、という単純な可能性をテストする。 同じ種類のリッジ回帰プローブを静的共起型埋め込み (GloVe と Word2Vec) に適用すると, 都市座標では0.71-0.87, 歴史的生年では0.48-0.52と, かなり回復可能な地理的信号とより弱いが信頼性のある時間信号が得られる。 セマンティック・ニーバー分析とターゲティング・サブスペース・アブレーションは、これらのシグナルが解釈可能な語彙勾配、特に国名と気候に関する語彙に強く依存していることを示している。 これらの結果から, 通常の単語共起は空間, 時間, 環境構造をより豊富に保存し, テキストのみから世界形構造を保ちつつ, 単純な静的な埋め込みの顕著かつ未熟な能力を示すことが示唆された。 したがって、線形プローブの復元可能性だけでは、テキストを超えて表現的な動きを確立しない。

関連論文リスト

• Understanding Temporal Semantic Stability in Open-Vocabulary UAV Perception through Metric 3D Fusion [0.0]
  フレームワイズ予測と世界空間の持続的位置を関連付けることで,時間的意味的安定性を考察する。 UAVid-3Dの実験では、フレームワイドなセマンティック・フリックが顕著に示され、高集合世界空間合意が時間的安定性を過小評価できることを示した。
  論文  参考訳（メタデータ） (2026-08-23T18:33:58Z)
• CoST: Semantic-Aware Urban Understanding via Spatial-Temporal Alignment [33.040248910330824]
  CoSTは、空間コンテキストを多時的意味論と整合させ、地域全体にわたる普遍的地理的規則性を抽出することを目的としている。 実験によると、CoSTはさまざまな下流タスクや目に見えないシナリオにおいて、一貫して優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-21T12:36:13Z)
• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• SASGeo: Stability-Aware Semantic Map Localization for GNSS-Denied UAVs -- A Framework and Synthetic Proof of Concept [0.0]
  sasは、永続的な構造を通して環境を表現するセマンティックマップローカライゼーションフレームワークである。 sasは意味的アライメント、グラフのエビデンス、特徴安定性と地理的特異性、明示的な肯定的/矛盾的/未知の観察、曖昧な修正の完全性を無視する。 予備実験は実飛行航法を検証せず、むしろ、構造的意味幾何学が制御された横方向の摂動の下で位置を識別できることを実証している。
  論文  参考訳（メタデータ） (2026-07-07T16:57:43Z)
• Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning [50.948271066372826]
  本稿では,地域レベルの時間的監視データと空間的局所的な補助信号を統合する,空間的に構造化されたマルチモーダル流行予測設定を提案する。 我々は,現実的なリアルタイム評価プロトコルの下で,実際の新型コロナウイルス,インフルエンザ,インフルエンザ様疾患(IIL)の予測課題に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-20T17:58:17Z)
• Not All Points Are Equal: Uncertainty-Aware 4D LiDAR Scene Synthesis [63.07333625429548]
  我々は,空間不確実性を明確に活用し,LiDARシーン生成をガイドする新しいフレームワークであるU4Dを提案する。 nuScenesとSemantic KITTIの実験は、最先端のシーンの忠実さ、時間的一貫性、下流のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-06-01T17:24:14Z)
• Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory [54.947805187562274]
  動的時間的進化と長期コヒーレンスを示す多様な相互作用シナリオにまたがる現実的な対話を導入する。 その結果得られたベンチマークは、7つの調査タイプにまたがる挑戦的な質問と回答のペアを含んでいる。 現在研究されている27の重要な記憶特性のうち、少なくとも1つを同定する。
  論文  参考訳（メタデータ） (2026-05-29T09:51:22Z)
• GeoViSTA: Geospatial Vision-Tabular Transformer for Multimodal Environment Representation [24.186635502118552]
  ジオビスタ(Geospatial Vision-Tabular Transformer,Geospatial Vision-Tabular Transformer,Geospatial Vision-Tabular Transformer,Geospatial Vision-Tabular Transformer,Geospatial Vision-Tabular Transformer,Geospatial Vision-Tabular Transformer)を提案する。 我々は、GeoViSTAを自己教師付き共同マスク自動符号化目標で訓練し、欠落した画像パッチの復元を強制する。 結果は、構造化社会経済コンテキストとともに、物理的環境を共同でモデル化することで、高度に伝達可能な表現が得られることを示した。
  論文  参考訳（メタデータ） (2026-05-14T05:46:07Z)
• Long-Term Multi-Session 3D Reconstruction Under Substantial Appearance Change [52.46888249268445]
  長期の環境モニタリングには、数ヶ月または数年ごとに分割された繰り返しサイト訪問で3Dモデルを再構築し調整する機能が必要である。 既存のアプローチは、独立して再構築されたセッションのポストホックアライメントに依存している。 我々は,共同SfM再建において,クロスセッション対応を直接実施することを提案する。
  論文  参考訳（メタデータ） (2026-02-24T06:12:51Z)
• The Statistical Signature of LLMs [1.3135750017147134]
  統計的正則性に関する単純なモデルに依存しない尺度は、生成規則を表面テキストと直接区別することを示す。 設定全体にわたって、圧縮は確率的生成の永続的な構造的シグネチャを明らかにする。 本研究は, 生成システムがいかにテキスト生産を再構築するかを定量化するための, シンプルで堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-20T11:33:37Z)
• Symmetry in language statistics shapes the geometry of model representations [8.371687575566714]
  言語統計学は翻訳対称性を示す。 後者は,高次元単語埋め込みモデルにおいて,上記の幾何学的構造を支配下に置くことを証明する。 このロバスト性は、共起統計値が基礎となる連続潜伏変数によって集合的に制御されている場合に自然に現れることを示す。
  論文  参考訳（メタデータ） (2026-02-16T18:59:55Z)
• Hierarchical Geometry of Cognitive States in Transformer Embedding Spaces [0.0]
  文の埋め込みは、人間の解釈可能な認知的属性や心理的属性と整合した、段階的、階層的な構造をコードするかどうかを検討する。 連続的な順序エネルギースコアと離散層ラベルを付加した480の自然言語文のデータセットを構築した。 モデル全体では、連続スコアと階層ラベルの両方が確実にデオード可能であり、浅い非線形プローブが一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2025-12-23T03:37:34Z)
• One Swallow Does Not Make a Summer: Understanding Semantic Structures in Embedding Spaces [17.173074024116477]
  埋め込み空間は現代のAIの基本であり、生データをリッチなセマンティックな関係を符号化する高次元ベクトルに変換する。 埋め込み空間内の局所的な意味的近傍をキャプチャする幾何学保存・文脈認識表現であるSemantic Field Subspace (SFS)を導入する。 また,セマンティックシフト(Semantic Shift)と呼ばれる新しい計量を用いて階層的意味構造を明らかにする,教師なし・モダリティに依存しないアルゴリズムであるSAFARIを提案する。
  論文  参考訳（メタデータ） (2025-11-30T11:48:00Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• Priors in Time: Missing Inductive Biases for Language Model Interpretability [58.07412640266836]
  スパースオートエンコーダは、時間とともに概念の独立を前提としており、定常性を暗示している。 本稿では,時間的帰納バイアスを持つ新たな解釈可能性目標である時間的特徴分析を導入し,その表現を2つの部分に分解する。 私たちの結果は、堅牢な解釈可能性ツールの設計において、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。
  論文  参考訳（メタデータ） (2025-11-03T18:43:48Z)
• S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting [67.93713728260646]
  既存の時系列予測手法は、大規模なグローバルステーション予測を行う際に、空間的相関を無視または一方向的にモデル化することが多い。 これは、予測性能を制限する地球規模の気象システムの観測の根底にある性質と矛盾する。 本稿では,構造的空間的注意を新たに提案する。 空間グラフを一連のサブグラフに分割し、サブグラフ内の注意をインスタンス化し、各サブグラフ内の局所的な空間相関を学習する。 ノードをサブグラフ間のメッセージパッシングのためのサブグラフ表現に集約する。
  論文  参考訳（メタデータ） (2025-09-10T05:33:28Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• Towards Natural Language-Guided Drones: GeoText-1652 Benchmark with Spatial Relation Matching [60.645802236700035]
  自然言語コマンドを通じてドローンをナビゲートすることは、アクセス可能なマルチモーダルデータセットが不足しているため、依然として難しい。 我々は新しい自然言語誘導ジオローカライゼーションベンチマークGeoText-1652を紹介する。 このデータセットは、インタラクティブなヒューマンコンピュータプロセスを通じて体系的に構築される。
  論文  参考訳（メタデータ） (2023-11-21T17:52:30Z)
• $\text{H}^2\text{TNE}$: Temporal Heterogeneous Information Network Embedding in Hyperbolic Spaces [16.31067633778912]
  時間的HINに対する双曲的ヘテロジニアス時間ネットワーク埋め込みモデルを提案する。 具体的には、時間的かつ不均一に2重拘束されたランダムウォーク戦略を利用して、構造的および意味的な情報をキャプチャする。 実験の結果,本手法はSOTAモデルと比較して時間的リンク予測とノード分類に優れていた。
  論文  参考訳（メタデータ） (2023-04-14T07:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。