論文の概要: AdaLoop: Thinking with the Vision Encoder

• arxiv url: http://arxiv.org/abs/2610.21323v1
• Date: Thu, 15 Oct 2026 06:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.212773
• Title: AdaLoop: Thinking with the Vision Encoder
• Title（参考訳）: AdaLoop: Vision Encoderで考える
• Abstract要約: 本稿では,視覚言語モデルにおける質問条件付き視覚再現のためのフレームワークであるAdaLoopを紹介する。 AdaLoopは問題に視覚的変換を適用し、複数のイテレーションでエンコーダの変換を再利用する。 その結果,事前学習した視覚エンコーダは,タスク指向の反復的視覚計算による推論に寄与することが示唆された。
• 参考スコア（独自算出の注目度）: 1.6722865570402627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most vision-language models (VLMs) treat the vision encoder as a static feature extractor: it encodes an image once, independently of the question, and leaves subsequent reasoning to the language model. Yet different questions may require different visual operations and processing depths. We present AdaLoop, a framework for question-conditioned visual recurrence in VLMs. AdaLoop adapts visual computation to the question and reuses the encoder's transformations across multiple iterations, with the pretrained vision weights frozen. We also introduce VisRO, a procedural dataset and generation pipeline for training and evaluating vision-centric reasoning. On six VisRO tasks, AdaLoop outperforms standard fine-tuning and question-conditioned single-pass baselines with matched training data and optimizer updates. These gains hold across three VLM families on both in-distribution and out-of-distribution examples. Our findings suggest that pretrained vision encoders can contribute to reasoning through task-directed, iterative visual computation.
• Abstract（参考訳）: ほとんどの視覚言語モデル(VLM)は、視覚エンコーダを静的な特徴抽出器として扱い、質問から独立して画像をエンコードし、その後の推論を言語モデルに任せる。 しかし、異なる質問は異なる視覚的操作と処理の深さを必要とするかもしれない。 本稿では,VLMにおける質問条件付き視覚再現のためのフレームワークであるAdaLoopを紹介する。 AdaLoopは、視覚計算を問題に適応させ、事前訓練された視覚重みを凍結させて、エンコーダの変換を複数のイテレーションで再利用する。 また、視覚中心の推論をトレーニングし評価するための手続き的データセットと生成パイプラインであるVisROについても紹介する。 6つのVisROタスクにおいて、AdaLoopは、トレーニングデータとオプティマイザ更新によって、標準の微調整と質問条件のシングルパスベースラインを上回っている。 これらの利益は、分布内および分布外の両方の例において3つのVLMファミリーにまたがる。 その結果,事前学習した視覚エンコーダは,タスク指向の反復的視覚計算による推論に寄与することが示唆された。

関連論文リスト

• ConvCue: Complementary Visual Inductive Biases for Vision-Language Models [0.0]
  本稿では,事前学習したVLMのネイティブな視覚表現を,並列凍結したCNNから最終段階の機能で拡張するCONVCUEを紹介する。 学習可能なアダプタは、畳み込みした特徴をネイティブな視覚的特徴次元にマッピングする。 視覚的質問応答,文書およびチャート理解,マルチモーダル推論を対象とする13のマルチモーダルベンチマークのCONVCUEを評価する。
  論文  参考訳（メタデータ） (2026-09-28T03:09:36Z)
• Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance [65.36257254806647]
  VLM(Vision-Language Models)は、視覚エンコーダの統合により、視覚機能を備えた従来のLLMを拡張した。 最大サイズまたは最高ゼロショット精度のエンコーダを選択するような一般的なプラクティスは、常に最適なモデルを特定するのに失敗していることを示す。 VLMでは視覚エンコーダのどの要素が重要か?
  論文  参考訳（メタデータ） (2026-05-02T08:42:13Z)
• Cross-Modal Attention Guided Unlearning in Vision-Language Models [16.460281156521646]
  VLM(Vision-Language Models)は、マルチモーダル理解および推論タスクにおいて、膨大な能力を示す。 VLMは、クエリの視覚的コンテキストがテキストに加えてセンシティブな情報も含んでいる可能性があるため、このプロセスに複雑さの層を追加します。 我々は、軽量で効率的なVLMアンラーニングフレームワークであるCross-Modal Attentioned Unlearning(CAGUL)を定式化する。
  論文  参考訳（メタデータ） (2025-10-08T21:21:59Z)
• Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities [54.94982467313341]
  視覚言語モデル(VLM)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 我々は、設計のどのコンポーネントが欠落しているかを調査する一連のテストを構築することで、基本的な視覚的タスクにおけるSoTA VLMの限界を理解することにしました。
  論文  参考訳（メタデータ） (2025-07-10T15:26:41Z)
• REF-VLM: Triplet-Based Referring Paradigm for Unified Visual Decoding [36.376220619032225]
  REF-VLMは、様々な視覚的デコーディングタスクの統一的なトレーニングのためのエンドツーエンドフレームワークである。 1億以上のマルチモーダル対話サンプルを含む大規模マルチタスクデータセットを構築した。 REF-VLMは様々な標準ベンチマークで他のMLLMよりも優れている。
  論文  参考訳（メタデータ） (2025-03-10T14:59:14Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• Do Vision-Language Transformers Exhibit Visual Commonsense? An Empirical Study of VCR [51.72751335574947]
  Visual Commonsense Reasoning (VCR)は、視覚的なシーンに対する質問応答の背後にある説明的推論を要求する。 ベンチマークデータセットの進歩は、Vision-Language Transformers(VL Transformers)の最近の進歩に大きく起因している。 本稿では、VLトランスフォーマーは、VCRの鍵となる視覚的コモンセンスを示さないことを仮定する。
  論文  参考訳（メタデータ） (2024-05-27T08:26:58Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• TVE: Learning Meta-attribution for Transferable Vision Explainer [76.68234965262761]
  本稿では,下流タスクにおける様々な視覚モデルを効果的に説明できるTransferable Vision Explainer(TVE)を提案する。 TVEは,大規模データセットの事前学習プロセスを通じて,メタ属性の学習を実現する。 このメタ属性は、一般的なバックボーンエンコーダの汎用性を利用して、入力インスタンスの属性知識を包括的にエンコードし、TVEがシームレスに転送し、様々な下流タスクを説明することを可能にする。
  論文  参考訳（メタデータ） (2023-12-23T21:49:23Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。