論文の概要: Around the World in 24 Hours: Probing LLM Knowledge of Time and Place

• arxiv url: http://arxiv.org/abs/2506.03984v1
• Date: Wed, 04 Jun 2025 14:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.371071
• Title: Around the World in 24 Hours: Probing LLM Knowledge of Time and Place
• Title（参考訳）: LLMの時間と場所に関する知識を24時間で探す
• Authors: Carolin Holtermann, Paul Röttger, Anne Lauscher,
• Abstract要約: 本稿では,言語モデルが時間と空間とともに共同で推論できる能力について,初めて評価する。 時間的および地理的知識の異なる組み合わせに対して、3つの異なるモデルファミリーの8つのオープンチャットモデルを評価する。 特定の地理的領域と性能の明確な相関関係は見つからない。
• 参考スコア（独自算出の注目度）: 18.17538075862074
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reasoning over time and space is essential for understanding our world. However, the abilities of language models in this area are largely unexplored as previous work has tested their abilities for logical reasoning in terms of time and space in isolation or only in simple or artificial environments. In this paper, we present the first evaluation of the ability of language models to jointly reason over time and space. To enable our analysis, we create GeoTemp, a dataset of 320k prompts covering 289 cities in 217 countries and 37 time zones. Using GeoTemp, we evaluate eight open chat models of three different model families for different combinations of temporal and geographic knowledge. We find that most models perform well on reasoning tasks involving only temporal knowledge and that overall performance improves with scale. However, performance remains constrained in tasks that require connecting temporal and geographical information. We do not find clear correlations of performance with specific geographic regions. Instead, we find a significant performance increase for location names with low model perplexity, suggesting their repeated occurrence during model training. We further demonstrate that their performance is heavily influenced by prompt formulation - a direct injection of geographical knowledge leads to performance gains, whereas, surprisingly, techniques like chain-of-thought prompting decrease performance on simpler tasks.
• Abstract（参考訳）: 時間と空間を通じて推論することは、私たちの世界を理解するのに不可欠です。 しかし、この領域における言語モデルの能力は、前回の研究では、時間と空間を分離したり、単純な環境や人工的な環境でのみ、論理的推論の能力をテストするため、ほとんど解明されていない。 本稿では,言語モデルの時間的・空間的共同推論能力について,初めて評価する。 GeoTempは、217か国289の都市と37のタイムゾーンをカバーする320kプロンプトのデータセットです。 GeoTempを用いて、時間的および地理的知識の異なる組み合わせに対して、3つの異なるモデルファミリーの8つのオープンチャットモデルを評価する。 ほとんどのモデルは時間的知識のみを含む推論タスクでうまく機能し、全体的なパフォーマンスはスケールで向上する。 しかし、時間的情報と地理的情報を繋ぐ必要のあるタスクでは、パフォーマンスは依然として制限されている。 特定の地理的領域と性能の明確な相関関係は見つからない。 その代わりに、モデルの難易度が低い場所名に対して顕著な性能向上が見られ、モデルのトレーニング中に繰り返し発生することが示唆された。 地理的知識を直接注入することで、パフォーマンスが向上する一方、驚くほど、チェーンオブ思考のような技術は、単純なタスクのパフォーマンスを低下させる。

関連論文リスト

• Geospatial Mechanistic Interpretability of Large Language Models [6.0272491755196045]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる前例のない機能を示している。 我々の目的は、これらの複雑なモデルが地理的情報を処理しながら生成する内部表現の理解を深めることである。
  論文  参考訳（メタデータ） (2025-05-06T09:40:06Z)
• TiEBe: Tracking Language Model Recall of Notable Worldwide Events Through Time [9.745912505259312]
  グローバルなイベントと地域的なイベントを中心に,23,000以上の質問応答ペアからなるデータセットであるTiEBeを提示する。 これらのイベントは、LLMのグローバルおよび地域開発に対する理解を評価するためのベンチマークを構築するために使用される。 以上の結果から,よりバランスの取れたグローバル表現の必要性を強調した。
  論文  参考訳（メタデータ） (2025-01-13T16:58:32Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• Time Awareness in Large Language Models: Benchmarking Fact Recall Across Time [0.0]
  現実のシナリオでは、回答の正しさはしばしば時間的文脈に結びついている。 2018年から2024年にかけて8000以上のイベントにまたがる新しいフレームワークとデータセットを提示します。 私たちの仕事は、タイムアウェアな言語モデルを進めるための重要なステップを提供します。
  論文  参考訳（メタデータ） (2024-09-20T08:57:20Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
  GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。 モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
  論文  参考訳（メタデータ） (2024-01-08T20:08:04Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
  我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。 オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。 我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
  論文  参考訳（メタデータ） (2023-05-11T03:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。