論文の概要: AGI Maze as a Benchmark Framework for World-Modeling Agents
- arxiv url: http://arxiv.org/abs/2607.00627v1
- Date: Wed, 01 Jul 2026 08:43:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.815079
- Title: AGI Maze as a Benchmark Framework for World-Modeling Agents
- Title(参考訳): 世界モデリングエージェントのベンチマークフレームワークとしてのAGI Maze
- Abstract要約: 大規模言語モデル(LLM)は強力なパターン補完システムであるが、そのデフォルトの操作モードは、外部世界の永続的で操作可能な表現を確実に生成するわけではない。
AGI Mazeは、高次元の感覚入力を必要としない、そのような環境を構築するための軽量なフレームワークである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are powerful pattern-completion systems, but their default operating mode - predicting the next token from a static context - does not reliably produce persistent, manipulable representations of an external world. Many tasks that look like "reasoning" in text become substantially harder once the environment is partially observable, stateful, and requires memory and structured hypotheses about hidden state. AGI Maze is a lightweight framework for building such environments without requiring high-dimensional sensory inputs. It provides a family of grid-based maze tasks with a clean API and multiple difficulty regimes. The goal is to create benchmarks where agents must learn and use world state representations, not just infer a local rule over readily provided observations. We provide an initial evaluation of several vanilla LLMs on simple mazes showing that they fail to represent mazes internally at LLM inference time. We also introduce a baseline agent, which is allowed to use its message history as a working memory to construct descriptions of observations at agentic runtime. Although this can improve performance, it is still insufficient for an LLM agent to reliably solve even small mazes within a step budget that is more than enough for humans.
- Abstract(参考訳): 大規模言語モデル(LLM)は強力なパターン補完システムであるが、デフォルトの操作モード – 静的なコンテキストから次のトークンを予測する – は、外部世界の永続的で操作可能な表現を確実に生成しない。
テキストの「推論」のような多くのタスクは、部分的に観察可能でステートフルであり、隠された状態に関する記憶と構造化された仮説を必要とすると、かなり難しくなります。
AGI Mazeは、高次元の感覚入力を必要としない、そのような環境を構築するための軽量なフレームワークである。
クリーンなAPIと難易度を備えたグリッドベースの迷路タスクのファミリーを提供する。
目標は、エージェントが簡単に提供された観察よりも局所的なルールを推測するだけでなく、世界状態の表現を学習し、使用する必要があるベンチマークを作成することである。
簡単な迷路上で数個のバニラLSMを初期評価した結果,LSM推論時に迷路を内部的に表現できないことが示された。
また、メッセージ履歴をワーキングメモリとして使用してエージェント実行時の観察記述を構築するためのベースラインエージェントも導入する。
これは性能を向上させることができるが、人間にとって十分以上のステップ予算で小さな迷路を確実に解決するLLMエージェントはいまだに不十分である。
関連論文リスト
- Bridging the Agent-World Gap: Text World Models for LLM-based Agents [83.8237017249529]
大規模言語モデル(LLM)ベースのエージェントは、インタラクティブなテキスト環境においてますます使われている。
多くは反応が強く、これらの環境がどのように構成され、どのように進化するかの明確なモデルなしで、観察を行動にマッピングする。
テキストワールドモデル(TWMs): 状態と候補アクションが与えられたら、結果のWebページ、端末出力、API応答、ユーザ応答を予測する。
LLMをベースとしたエージェントのテキストワールドモデルについて,形式的なフレームワークとエージェントライフサイクルを中心に整理し,体系的にレビューを行った。
論文 参考訳(メタデータ) (2026-06-08T04:58:52Z) - GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。
長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。
我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
論文 参考訳(メタデータ) (2026-04-18T17:59:15Z) - Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models [73.89069781682032]
我々は、Omni-Modal Large Language Models (OLLM) のモダリティ嗜好を定量化する。
従来のVLMの「テキスト・マディナンス」とは異なり、ほとんどのOLLMは視覚的嗜好が顕著である。
私たちの仕事は、機械的な理解と、より信頼できるOLLMを構築するための実践的なツールの両方を提供します。
論文 参考訳(メタデータ) (2026-04-18T08:25:52Z) - Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。
タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。
この空間性-微分的関係は、様々なモデルや領域で観測可能である。
論文 参考訳(メタデータ) (2026-03-03T18:48:15Z) - Can LLMs See Without Pixels? Benchmarking Spatial Intelligence from Textual Descriptions [18.455501447828343]
空間知能(SI)は視覚言語モデル(VLM)に大きく依存している
画素レベルの入力を必要としない大規模言語モデル(LLM)のSI性能を評価するために設計された新しいベンチマークであるSiT-Benchを紹介する。
空間的推論により性能が著しく向上し,LLMには潜在的世界モデリングの可能性があることが示唆された。
論文 参考訳(メタデータ) (2026-01-07T05:13:52Z) - WRAVAL -- WRiting Assist eVALuation [7.441391098440092]
小言語モデル (SLM) は通常、推論の基準で、LLM (Large Language Models) よりも3~4倍低いスコアを得る。
本研究では,非推論タスクにおけるSLMの能力を強調するための評価フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-19T09:21:27Z) - Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。
しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。
MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-26T15:38:42Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳(メタデータ) (2025-07-22T06:37:51Z) - Foundation Models for Remote Sensing: An Analysis of MLLMs for Object Localization [7.0683335354070085]
我々は,空間的推論機能を含むように明示的に訓練された最近のMLLMを分析した。
これらのモデルが特定の設定で実行可能であることを実証し、ゼロショットシナリオに適していることを示す。
論文 参考訳(メタデータ) (2025-04-14T21:34:06Z) - AI-native Memory: A Pathway from LLMs Towards AGI [25.19572633670963]
大規模言語モデル(LLM)は、人工知能(AGI)の火花で世界を実証した。
我々は,メモリ統合によるLLMからAGIへの経路を構想する。
中間段階として、メモリは自然言語記述の形式になる可能性が高い。
論文 参考訳(メタデータ) (2024-06-26T12:51:37Z) - Statler: State-Maintaining Language Models for Embodied Reasoning [19.884696137429813]
本研究では,大言語モデルに世界状態を推定するフレームワークであるStatlerを提案する。
そして、我々のフレームワークは、現在の世界状態の推定に対して各アクションを条件付けします。
複数のロボット計画タスクにおいて、強力な競合する手法を著しく上回っている。
論文 参考訳(メタデータ) (2023-06-30T17:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。