論文の概要: On Locality and Length Generalization in Visual Reasoning

• arxiv url: http://arxiv.org/abs/2607.09061v1
• Date: Fri, 10 Jul 2026 03:08:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.770039
• Title: On Locality and Length Generalization in Visual Reasoning
• Title（参考訳）: 視覚的推論における局所性と長さの一般化について
• Abstract要約: 本研究では、画像全体にわたる局所情報の集約を必要とする単純な視覚タスクに基づいて訓練された視覚モデルの挙動について検討する。 以上の結果から,局所的な注意は頑健な構成一般化に欠かせない要件である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 9.795082945107277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A striking feature of the human visual system is that it ingests visual information through a series of local foveated glimpses, rather than a single global computation. This makes human vision distinctly different from most popular computer vision models in use today, which input images globally and in a single shot. A natural question therefore is whether local, sequential vision models may provide any fundamental computational benefits in addition to being biologically more plausible than global models. In this work, we investigate this question from the perspective of visual state tracking and length generalization. Inspired by recent studies of length generalization in language models, we study the behavior of vision models trained on simple vision tasks that require the aggregation of local information across an image. Our experiments reveal that, similar to language models, vision models can learn to exploit global shortcuts and thereby fail to generalize over task length or complexity. We also show that recurrent vision policies based on strictly local perception can mitigate these failures, thereby allowing models to generalize on these tasks. Our results show that local attention may be an essential overlooked requirement for robust compositional generalization.
• Abstract（参考訳）: 人間の視覚システムの顕著な特徴は、単一のグローバルな計算ではなく、一連の局所的な望ましくない視線を通して視覚情報を取り込みます。 これにより、人間の視覚は、現在使われている最も人気のあるコンピュータビジョンモデルと明らかに異なる。 したがって、局所的、シーケンシャルな視覚モデルが、地球モデルよりも生物学的に妥当なことに加えて、基本的な計算上の利点を提供するかどうかという自然な疑問がある。 本研究では,視覚状態のトラッキングと長さの一般化の観点から,この問題を考察する。 言語モデルにおける長さ一般化の最近の研究に触発されて、画像全体にわたる局所情報の集約を必要とする単純な視覚タスクに基づいて訓練された視覚モデルの挙動を研究する。 我々の実験は、言語モデルと同様に、視覚モデルがグローバルなショートカットを活用することを学習し、タスクの長さや複雑さを一般化できないことを示した。 また、厳密な局所認識に基づく繰り返し視覚ポリシーは、これらの失敗を軽減し、モデルがこれらのタスクを一般化できることを示す。 以上の結果から,局所的な注意は頑健な構成一般化に欠かせない要件である可能性が示唆された。

関連論文リスト

• Where To Look? : Causal Tracing of Vision Encoders in VLM [0.6980863185266349]
  視覚言語モデルは、驚くべき精度で画像を記述することができる。 因果的追跡を通してこの問題を考察し、高い因果的視覚トークンが標的領域の外側にしばしば存在することを観察する。 さらに,これらのモデルでは外見の手がかりが取り除かれたときの視覚構造を保存できるのか,また視覚的手がかりが視覚構造を理解するために活用されているかを見出した。
  論文  参考訳（メタデータ） (2026-08-11T10:17:34Z)
• Trimming the Long-Tail of Visual World Modeling Evaluation [67.17191772079316]
  本論文では,不規則な物理的相互作用をシミュレートするために世界モデルに挑戦するベンチマークであるTailor-Benchを紹介する。 通常のシナリオは共通のツールとタスクのペアを反映し、従来型のツールを属性互換の代替品に置き換え、Impossibleシナリオは属性違反ツールを導入している。 実験結果から,物理世界モデリングの長期的ギャップは明らかであり,共通相互作用を超越した一般化の限界が示唆された。
  論文  参考訳（メタデータ） (2026-06-23T07:43:41Z)
• Visual Generation Unlocks Human-Like Reasoning through Multimodal World Models [60.543714835980325]
  人間は、これらのモデル内の概念を操作することによって、内的世界モデルと理性を構築する。 近年のAIの進歩は、世界モデルが大きな言語モデルに埋め込まれていると信じられている人間の認知能力に近似している。 本稿では,視覚生成が推論にどのような効果をもたらすかについて,最初の原理的考察を行った。
  論文  参考訳（メタデータ） (2026-01-27T17:40:07Z)
• TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models [11.7808701773328]
  LVLM(Large Vision-Language Models)は通常、エンコーダから学習済みのLarge Language Model(LLM)に視覚的特徴を合わせる。 本稿では,LVLMのグローバルな視覚知覚能力を評価するために,トポロジカルな特性を利用するベンチマークであるTopoPerceptionを紹介する。 TopoPerception上での最先端モデルの評価を行い、最も粗い知覚の粒度であっても、全てのモデルがランダムな確率よりは良くないことを示す。
  論文  参考訳（メタデータ） (2025-11-14T19:45:56Z)
• Visual Bridge: Universal Visual Perception Representations Generating [27.034175361589572]
  複数のタスクにまたがる多様な視覚表現を生成できるフローマッチングに基づく普遍的な視覚認識フレームワークを提案する。 提案手法は,画像パッチトークンからタスク固有の表現への共通フローマッチング問題を定式化したものである。 我々のモデルはゼロショットと微調整の両方で競争性能を達成し、事前のジェネラリストやいくつかのスペシャリストモデルよりも優れています。
  論文  参考訳（メタデータ） (2025-11-11T06:25:30Z)
• Grounded Reinforcement Learning for Visual Reasoning [51.94871616778874]
  我々は、強化学習で訓練された視覚言語モデルViGoRL(Visually Grounded Reinforcement Learning)を紹介する。 人間の視覚的意思決定にインスパイアされたViGoRLは、空間的に根拠のある推論トレースを生成することを学ぶ。 この結果から,RLは汎用的な視覚的推論を用いたモデル入力の強力なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2025-05-29T17:20:26Z)
• Chain-of-Sketch: Enabling Global Visual Reasoning [37.09634351533441]
  グラフ、文字列、迷路、画像グリッドを含む、拡張されたグローバルなビジュアルデータセットを紹介します。 大規模なビジョンモデルは、これらのタスクを効率的に学習するのに依然として苦労している。 本稿では,この学習効率の低下を緩和するために,チェーン・オブ・スケッチ(CoS)と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:44:13Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• What does CLIP know about a red circle? Visual prompt engineering for VLMs [116.8806079598019]
  テキストの代わりに画像空間を編集することで、分類を超えたコンピュータビジョンタスクを解くための視覚的プロンプトエンジニアリングのアイデアを探求する。 キーポイントのローカライゼーションタスクにおけるゼロショット参照表現の理解と強力な性能を両立させることにより,このシンプルなアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2023-04-13T17:58:08Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Does language help generalization in vision models? [0.0]
  非常に大きな教師付き画像データセット(ImageNet-21k)で訓練された視覚モデルは、そのマルチモーダル画像データセット(CLIP)と同じくらい効率的に一般化できることを示す。 他の標準的な視覚モデルや言語モデルと比較すると、BiT-Mの潜在表現はCLIPと同じ「言語」であることが判明した。
  論文  参考訳（メタデータ） (2021-04-16T18:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。