論文の概要: MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents

• arxiv url: http://arxiv.org/abs/2608.31022v1
• Date: Mon, 31 Aug 2026 16:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.497769
• Title: MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents
• Title（参考訳）: MNIST-PRO:MNISTはAIエージェントの部分的に観察可能な世界に戻る
• Abstract要約: MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
• 参考スコア（独自算出の注目度）: 74.83535434786145
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: AI agents in partially observable environments need to coordinate active sensing with working memory to maintain an evolving perceptual state. However, existing benchmarks struggle to isolate this perceptual-state construction and interpretation capability because they introduce physical and control complexities. We address this with MNIST-PRO, a benchmark that isolates agentic perception by converting MNIST digit recognition into a sequential, glimpse-based search task with lookback constraints. We evaluate ten multimodal models across four memory representations, including raw visual history, textual states, structured metric grid maps, and a consolidated visual canvas. While models excel under full observability, partial observability exposes a clear performance gap. We identify three distinct bottlenecks. First, perceptual-state construction and interpretation present a challenge, as agents struggle to integrate fragmented glimpses. Second, agents often stop exploring before they see the full sequence. Third, models often fail to revise early, incorrect beliefs even when faced with subsequent contradictory evidence. These results show that simply acquiring visual evidence is not enough. Agents must also be able to build and update a reliable perceptual state.
• Abstract（参考訳）: 部分的に観測可能な環境におけるAIエージェントは、進化する知覚状態を維持するために、アクティブなセンシングとワーキングメモリを協調する必要がある。 しかし、既存のベンチマークでは、物理的および制御的な複雑さを導入するため、この知覚状態の構築と解釈能力の分離に苦労している。 我々は、MNIST桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークであるMNIST-PROでこの問題に対処する。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。 モデルは完全な可観測性の下では優れているが、部分可観測性は明らかなパフォーマンスギャップを露呈する。 私たちは3つの異なるボトルネックを特定します。 まず、知覚状態の構築と解釈は、エージェントが断片化された外観を統合するのに苦労しているため、課題となる。 第二に、エージェントはフルシーケンスを見る前に探索をやめることが多い。 第三に、モデルは、後続の矛盾した証拠に直面しても、早い段階で、誤った信念を修正できないことが多い。 これらの結果から,視覚的証拠の取得だけでは不十分であることが示唆された。 エージェントは信頼性の高い知覚状態の構築と更新も可能でなければならない。

関連論文リスト

• WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
  WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。 WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。 また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-08-28T08:28:43Z)
• See2Think: Do Multimodal Models Really Use Intermediate Visual States? [12.082470543980422]
  See2ThinkBenchとVisual Action-of-Thought (VAoT)を組み合わせた統合評価フレームワークであるSeee2Thinkを紹介する。 VAoTは4つの制御された推論設定の下で、テキストの思考、視覚行動、レンダリングされた状態、およびその後の推論を記録する。 視覚的推論はモデルに依存し、環境に依存しており、タスク間で一貫した1つの設定が支配的でないことが分かっています。
  論文  参考訳（メタデータ） (2026-07-29T11:10:34Z)
• Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
  EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。 EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。 既存のメモリを単純に保存することは、しばしば不十分である。 連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
  論文  参考訳（メタデータ） (2026-07-23T17:50:45Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models [24.250649573452666]
  視覚モデルの人間の解釈可能性を測定し比較するための枠組みを構築した。 チャンスアンコールされたスコアリング関数は、すべてのモデルを共通のスケールに配置する。 ファンデーションモデルは、監督されたモデルよりも、*無関係に解釈可能である。
  論文  参考訳（メタデータ） (2026-05-19T18:00:06Z)
• ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop [55.468404995694975]
  我々は,OmniGibson上に構築された10のタスクカテゴリと29のサブカテゴリにまたがる空間知能の具体化ベンチマークを開発した。 我々は最先端のMLLMの実験を行い、活発な探索が受動的に優れていることを発見した。 矛盾した視点を求め、信念を改定する人間とは異なり、モデルは証拠の品質に関わらず、高い信頼をもって早々に行動する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:02Z)
• M$^3$-ACE: Rectifying Visual Perception in Multimodal Math Reasoning via Multi-Agentic Context Engineering [10.491266031106774]
  M3-ACE(M3-ACE)は、数学の推論において視覚的知覚を正すために設計された多言語コンテキストエンジニアリングフレームワークである。 提案手法は,MathVisionベンチマークで89.1の新たな結果を確立し,他の関連するデータセットに対して一貫した改善を実現する。
  論文  参考訳（メタデータ） (2026-03-09T13:32:25Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)
• VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
  ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。 非局所的な視覚的推論のための視覚言語モデルの能力を評価する。 その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
  論文  参考訳（メタデータ） (2025-07-04T23:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。