論文の概要: VISTA: A Visual Harness for Reasoning in an Interactive World
- arxiv url: http://arxiv.org/abs/2610.02200v1
- Date: Thu, 01 Oct 2026 17:59:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.372625
- Title: VISTA: A Visual Harness for Reasoning in an Interactive World
- Title（参考訳）: VISTA:インタラクティブな世界での推論のための視覚的ハーネス
- Abstract要約: VISTAは、汎用マルチモーダルモデルロングホライゾンビジョンを提供する視覚ハーネスである。
ARC-AGI-3では、VISTAはClaude Opus 5.0の相対的ヒューマンアクション効率スコアを40.68から100.00に改善し、最初の人間の参加者よりも57.4%少ないアクションで25の公開ゲーム全てを完成させた。
- 参考スコア（独自算出の注目度）: 22.48213907725758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that multimodal models possess strong reasoning abilities and that an appropriate harness can unlock their potential to solve tasks across diverse interactive environments. We introduce VISTA, a visual harness that gives a general-purpose multimodal model long-horizon vision. VISTA allows the model to directly perceive the environment through visual observations and maintains a lossless visual memory that preserves past observations in their original form. The model can actively retrieve these observations and reorganize its visual input as it reasons. On ARC-AGI-3, VISTA improves Claude Opus 5.0's Relative Human Action Efficiency score from 40.68 to a perfect 100.00, with the model completing all 25 public games using 57.4% fewer actions than first-time human participants. VISTA's simple design also allows it to extend naturally to diverse visual environments with minimal adaptation. Across three additional benchmarks covering a diverse range of visual games and puzzles, it substantially outperforms baselines using the same underlying model with minimal harnesses. Our results highlight VISTA's potential as a general-purpose visual harness for advancing multimodal agents in complex visual environments.
- Abstract（参考訳）: マルチモーダルモデルは強力な推論能力を有しており、適切なハーネスによって様々な対話環境においてタスクを解くことができることを示す。
VISTAは、汎用マルチモーダルモデルロングホライゾンビジョンを提供する視覚ハーネスである。
VISTAは、モデルが視覚的な観察を通して環境を直接知覚し、過去の観察を元の形式で保存する損失のない視覚記憶を維持することを可能にする。
モデルはこれらの観測を積極的に回収し、その理由として視覚的な入力を再編成することができる。
ARC-AGI-3では、VISTAはClaude Opus 5.0の相対的ヒューマンアクション効率スコアを40.68から100.00に改善し、最初の人間の参加者よりも57.4%少ないアクションで25の公開ゲーム全てを完成させた。
VISTAのシンプルな設計は、最小限の適応で自然に様々な視覚環境に拡張することを可能にする。
様々な視覚ゲームやパズルをカバーする3つのベンチマークで、ベースラインは最小限のハーネスを持つ同じ基礎モデルで大幅に上回っている。
以上の結果から,複雑な視覚環境下でのマルチモーダルエージェントの推進のための汎用視覚ハーネスとしてのVISTAの可能性が示唆された。
関連論文リスト
- LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models [61.038310084204056]
本稿では,ロボット基礎モデルの閉ループ視覚的堅牢性を評価するためのベンチマークであるLIBERO-VProを紹介する。
約196,000回にわたって3つの視覚言語行動モデルと3つの世界行動モデルを評価した。
以上の結果から,強い名目性能は視覚的接地や適応において重大な弱点を隠蔽する可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-21T09:43:41Z) - More Accurate, Less Human: Gestalt Grouping in Vision Models [0.0]
本研究では,4つのグループ化タスクの事前認識から,人間のデータに対するモデルを評価する行動バッテリーを提案する。
5つのトレーニングファミリーで45のモデルに適用します。
バッテリーは、人間の反応との一致が、従来のパフォーマンス指標が区別できない知覚的組織の側面を捉えていることを明らかにする。
論文 参考訳（メタデータ） (2026-08-10T20:14:14Z) - ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。
39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
論文 参考訳（メタデータ） (2026-08-05T10:05:41Z) - POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs [64.72502363697518]
POINTS-Longは、人間の視覚システムにインスパイアされた動的ビジュアルトークンスケーリングを備えた、ネイティブなデュアルモードMLLMである。
我々の研究は、将来のMLLMの設計に関する新たな洞察を提供し、適応的で効率的な長期的視覚的理解の基礎を築いた。
論文 参考訳（メタデータ） (2026-04-13T15:38:22Z) - Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs [76.47326680870783]
VISTA-Gymは視覚言語モデル(VLM)におけるツール統合視覚推論能力のインセンティブ化のためのトレーニング環境である。
VISTA-Gymはビジュアルツールの標準化されたインタフェースで様々な実世界のマルチモーダル推論タスクを統合する。
VISTA-R1-8Bは、11の公開推論集約VQAベンチマークにおいて、同様のサイズで最先端のベースラインを9.51%-18.72%上回ることを示す。
論文 参考訳（メタデータ） (2025-11-24T22:58:26Z) - Can Large Models Fool the Eye? A New Turing Test for Biological Animation [38.24758662565375]
大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)を視覚的アニメーションで評価するための新しいフレームワークであるBioMotion Arenaを紹介する。
本手法は,生物特有の運動パターンの視覚的知覚からインスピレーションを得ている。
我々は,90の生物運動変種に対して,ペアワイズ比較評価を用い,53のメインストリームLLMとMLLMの45k以上を収集した。
論文 参考訳（メタデータ） (2025-08-08T07:10:17Z) - Visual Graph Arena: Evaluating Visual Conceptualization of Vision and Multimodal Large Language Models [51.900488744931785]
視覚抽象化のためのAIシステムの能力を評価し改善するためのビジュアルグラフアリーナ(VGA)を導入する。
人間はタスク間でほぼ完璧な精度を達成し、モデルは同型検出で完全に失敗し、パス/サイクルタスクにおいて限られた成功を示した。
表現不変推論の課題を分離することにより、VGAは、AIビジュアルモデルにおける人間のような概念化に向けた前進を促進するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2025-06-06T17:06:25Z) - Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。
CLIP-blind pairs'(CLIP-blind pairs)を識別する。
様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
論文 参考訳（メタデータ） (2024-01-11T18:58:36Z) - Q-Instruct: Improving Low-level Visual Abilities for Multi-modality
Foundation Models [81.20804369985376]
我々は,低レベルの視覚に対する多数の人間のフィードバックを収集する大規模主観的実験を行う。
構築された**Q-Pathway**データセットには、18,973イメージに関する58万の詳細な人間のフィードバックが含まれている。
我々は、GPT参加型変換を設計し、これらのフィードバックを多種多様な200K命令応答対に処理する。
論文 参考訳（メタデータ） (2023-11-12T09:10:51Z) - Look, Remember and Reason: Grounded reasoning in videos with language
models [5.3445140425713245]
マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。
オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。
我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2023-06-30T16:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。