論文の概要: Recovering Temporal and Geographic Signals from Language Model Embeddings
- arxiv url: http://arxiv.org/abs/2609.05721v1
- Date: Fri, 04 Sep 2026 21:03:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.111803
- Title: Recovering Temporal and Geographic Signals from Language Model Embeddings
- Title（参考訳）: 言語モデル埋め込みによる時間的・地理的信号の復元
- Abstract要約: 構造化実世界の情報をエンコードする言語モデル埋め込みについて検討する。
出力埋め込みを直接操作するプロジェクションベースの手法を用いる。
埋め込みプロジェクションは意味のある時間的・空間的構造を復元する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding whether language-model embeddings encode structured real-world information is important for both representation analysis and information retrieval. We study this question for temporal and geographic signals using a simple projection-based method that operates directly on output embeddings. Given a small set of seed examples, the method defines an axis in embedding space and ranks texts or entities by their projection onto that axis. Our approach is fully black-box and model-agnostic: it requires only embeddings, without access to model weights, internal activations, auxiliary probes, or additional training. This makes it applicable to modern embedding models available only through APIs and provides a lightweight way to analyze whether temporal and spatial dimensions are present in their representation spaces. We apply the method to temporal and geographic datasets and find that embedding projections recover meaningful chronological and spatial structure. These results provide evidence that output embeddings encode signals relevant to time and space, while also offering a practical tool for interpretability and for downstream temporal and geographic information retrieval tasks, such as temporal ordering, geographic ranking, and tagging.
- Abstract（参考訳）: 言語モデル埋め込みが構造化実世界の情報をエンコードするかどうかを理解することは、表現分析と情報検索の両方において重要である。
本稿では,出力埋め込みを直接操作する単純な投影法を用いて,時間的・地理的な信号について検討する。
種子の小さな例が与えられた場合、この方法は空間を埋め込む軸を定義し、その軸に投影することでテキストや実体をランク付けする。
モデルウェイト、内部のアクティベーション、補助プローブ、追加のトレーニングへのアクセスなしに、埋め込みのみを必要とします。
これにより、APIを通してのみ利用可能な現代的な埋め込みモデルに適用でき、表現空間に時間的次元と空間的次元が存在するかどうかを分析するための軽量な方法を提供する。
本手法を時間的・地理的なデータセットに適用し,埋め込みプロジェクションが意味のある時間的・空間的構造を復元することを示す。
これらの結果は、出力埋め込みが時間と空間に関連する信号をエンコードすると同時に、時間的順序付け、地理的ランク付け、タグ付けといった、時間的・地理的情報検索タスクを解釈する実用的なツールを提供する証拠となる。
関連論文リスト
- A multi-view contrastive learning framework for spatial embeddings in risk modelling [0.688204255655161]
空間データは、しばしば非構造的で、高次元であり、予測モデルに統合することは困難である。
空間埋め込みを生成するための新しい多視点コントラスト学習フレームワークを提案する。
フランスの不動産価格に関するケーススタディでは、生座標で訓練されたモデルと、空間埋め込みを入力として使用するモデルを比較した。
論文 参考訳（メタデータ） (2025-11-22T07:39:34Z) - From Time and Place to Preference: LLM-Driven Geo-Temporal Context in Recommendations [3.402237483362839]
ほとんどのレコメンデーションシステムは、タイムスタンプを、休日、イベント、季節パターンといった現実世界のコンテキストを見渡す、数値的または循環的価値として扱う。
本稿では,大規模言語モデル(LLM)を用いて,タイムスタンプと粗い位置のみから時空間埋め込みを生成するスケーラブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-28T13:57:23Z) - GT-Loc: Unifying When and Where in Images Through a Joint Embedding Space [48.09196906704634]
GT-Locは、画像のキャプチャ時間(時間と月)と位置情報(GPS座標)を共同で予測する新しい検索ベースの手法である。
提案手法では,画像,時間,位置のエンコーダを分離し,その埋め込みを高次元特徴空間内に配置する。
論文 参考訳（メタデータ） (2025-07-14T16:54:57Z) - Geospatial Mechanistic Interpretability of Large Language Models [6.0272491755196045]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる前例のない機能を示している。
我々の目的は、これらの複雑なモデルが地理的情報を処理しながら生成する内部表現の理解を深めることである。
論文 参考訳（メタデータ） (2025-05-06T09:40:06Z) - Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。
我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。
グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
論文 参考訳（メタデータ） (2023-11-29T12:48:33Z) - Reconstructing Spatiotemporal Data with C-VAEs [49.1574468325115]
移動領域の条件付き連続表現は一般的に用いられる。
本研究では,条件変数自動エンコーダ(C-VAE)モデルを用いて,領域の進化を現実的に表現する機能について検討する。
論文 参考訳（メタデータ） (2023-07-12T15:34:10Z) - GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。
オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。
我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳（メタデータ） (2023-05-11T03:21:56Z) - TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [64.63645677568384]
本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。
提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。
私たちのコードはGitHubで公開されます。
論文 参考訳（メタデータ） (2023-01-05T22:10:16Z) - Geo-Adaptive Deep Spatio-Temporal predictive modeling for human mobility [5.864710987890994]
深部GA-vLSは、データが不規則なデータを扱うという課題に直面し、定形かつ規則的なテンソル形状のデータを仮定する。
本稿では,その再帰的メカニズムを維持しつつ,新たなデータ構造に基づくジオアウェアな学習操作を提案する。
論文 参考訳（メタデータ） (2022-11-27T16:51:28Z) - Geography-Aware Self-Supervised Learning [79.4009241781968]
異なる特徴により、標準ベンチマークにおけるコントラスト学習と教師あり学習の間には、非自明なギャップが持続していることが示される。
本稿では,リモートセンシングデータの空間的整合性を利用した新しいトレーニング手法を提案する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションにおけるコントラスト学習と教師あり学習のギャップを埋めるものである。
論文 参考訳（メタデータ） (2020-11-19T17:29:13Z) - Post-Estimation Smoothing: A Simple Baseline for Learning with Side
Information [102.18616819054368]
本稿では,構造指標データを予測に組み込む高速かつ効率的な手法として,後推定平滑化演算子を提案する。
滑らかなステップは元の予測器とは分離されているため、機械学習タスクの幅広いクラスに適用できる。
大規模な空間的・時間的データセットに関する実験は,実測後のスムース化の速度と正確さを浮き彫りにした。
論文 参考訳（メタデータ） (2020-03-12T18:04:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。