論文の概要: Searching for Task-Specific Vision Paths: Evolutionary Block Pruning Across Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.17052v1
- Date: Sun, 19 Jul 2026 03:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.344955
- Title: Searching for Task-Specific Vision Paths: Evolutionary Block Pruning Across Vision-Language Models
- Title(参考訳): タスク特異的視覚経路の探索:視覚言語モデル間の進化的ブロック解析
- Abstract要約: 視覚ブロックの固定予算の組み合わせを微調整なしでスキップできるかどうかを検討した。
共有Kブロック経路は、すべての質問に対して正確にKブロックの探索セットをスキップし、能力固有のKブロックポリシーは、既知の機能ラベルを使用して1つの同一サイズルートを選択する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models normally execute the same complete vision encoder for every question, even when OCR, counting, object, attribute, and spatial queries may not require identical computation. We study whether fixed-budget combinations of vision blocks can be skipped without fine-tuning. A shared K-block route skips one searched set of exactly K blocks for every question, while a capability-specific K-block policy selects one same-size route using a known capability label. We introduce a source-balanced evolutionary search and compare it with independent ranking, contiguous removal, and random routes at matched budgets. Experiments use Qwen2.5-VL-3B-Instruct, SmolVLM2-2.2B-Instruct, and an 876-example image-disjoint selection split. Search transfers across architectures: on SmolVLM2, the searched shared four-block route beats independent construction by 4.91 percentage points. Capability specialization is less stable. On Qwen, the six-block capability policy beats the shared route by 2.17 points, driven by a 7.10-point OCR gain. On sealed IIIT5K, however, the SmolVLM2 OCR-specific route trails its shared route by 13.6 points. Combinatorial search reliably improves route construction, but capability labels do not define universally transferable vision pathways.
- Abstract(参考訳): 視覚言語モデルは通常、OCR、カウント、オブジェクト、属性、空間的クエリが同じ計算を必要としない場合でも、すべての質問に対して同じ完全な視覚エンコーダを実行する。
視覚ブロックの固定予算の組み合わせを微調整なしでスキップできるかどうかを検討した。
共有Kブロック経路は、すべての質問に対して正確にKブロックの探索セットをスキップし、能力固有のKブロックポリシーは、既知の機能ラベルを使用して1つの同一サイズルートを選択する。
我々は、ソースバランスのとれた進化的探索を導入し、それと一致した予算で、独立したランク付け、連続的な除去、ランダムなルートと比較する。
実験では、Qwen2.5-VL-3B-インストラクト、SmolVLM2-2.2B-インストラクト、856サンプルのイメージ・ディジョイント選択スプリットを使用した。
SmolVLM2では、検索された4ブロックの経路が独立した構成を4.91ポイント上回っている。
能力の専門化は少ない。
Qwenでは、6ブロックの能力ポリシーが共有ルートを2.17ポイント上回り、7.10ポイントのOCRゲインによって駆動される。
しかし、密閉されたIIIT5Kでは、SmolVLM2 OCR専用ルートが13.6ポイントの共有ルートを通っている。
組合せ探索はルート構築を確実に改善するが、機能ラベルは普遍的に伝達可能な視覚経路を定義しない。
関連論文リスト
- SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。
タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。
次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
論文 参考訳(メタデータ) (2026-09-02T08:40:07Z) - RISE: Roadside Infrastructure Sequence Understanding across 3D Tracking and Structured Vision-Language Reasoning [18.507438868197248]
本稿では,道路側列における3次元計測と構造化視覚言語推論を対象とするフレームワークを提案する。
メカニカルトラッキングでは、SAM3ビデオアイデンティティとキャリブレーション誘導マスクアソシエーションを組み合わせることで、マルチビュー・アイデンティティー・アソシエーションを実現する。
構造化された視覚言語推論のために、人間レビューされたMLLMパイプラインは、高価値クリップをマイニングし、制約付きフルコンテキストのOracleを使用して、bbox地上予測QAを構築する。
その結果得られたRISE-VQAデータセットには、16の交差点と61の道端ビューにわたる57のクリップから33,910のQAペアが含まれている。
論文 参考訳(メタデータ) (2026-08-17T12:22:15Z) - Uncertainty-gated selection for block-sparse attention [0.0]
ブロックスパースアテンション(Block-sparse attention)は、O(N2)ソフトマックスをキーブロック上のクエリごとのトップk選択に置き換えることで、長いコンテキスト言語モデルをスケールする。
本稿では,各クエリに対して,トップkカットがいかに決定的に行われたかを測定する,情報量ルータを提案する。
論文 参考訳(メタデータ) (2026-07-04T20:41:42Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - StereoFactory: A Unified Merging Framework for Robust Stereo Matching [61.973843344605655]
ステレオマッチングは、大規模なデータセットでトレーニングされた基礎モデルを通じて進歩しているが、このパラダイムはスケーラビリティのボトルネックに悩まされている。
モデルマージは、ソースチェックポイントが利用可能になった後、特別なモデルからの知識を統合することで、スケーラブルなポストホックな代替手段を提供する。
本稿では,適応モデルマージのための粗大な進化的フレームワークであるStereoFactoryを提案する。
論文 参考訳(メタデータ) (2026-06-16T03:36:59Z) - Automated Unitary Coupled Cluster Circuit Design via Differentiable Quantum Architecture Search [3.2386300676469673]
UCCSD演算子プールに基づく回路設計フレームワークとして、微分可能量子アーキテクチャ探索(DQAS)を導入する。
両戦略がコンパクト回路方式のADAPT-VQEよりも精度が高く,CNOTゲートも少ないことを示す。
論文 参考訳(メタデータ) (2026-05-27T06:50:01Z) - CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning [3.1368611610608856]
テキスト空間のタスクルーティングは、凍結されたCLIPテキストプロトタイプとコサイン類似のビジュアルガウスマッチングを置き換える。
視覚テキストの信頼度は、単一ガウスのクラスモデリングをK平均視覚プロトタイプとタスク校正しきい値の下でのクロスモーダルアライメントスコアに置き換える。
MTILベンチマークは118.7%と1201のクラスで74.2%のTransfer、80.5%のAverage、そして8のLast Under Order-Iを達成した。
論文 参考訳(メタデータ) (2026-05-25T11:09:48Z) - OmniEgo-R$^2$: A Routed Reasoning Framework for the 1st Cross-Domain EgoCross Challenge at CVPR 2026 [73.31700707400647]
我々は、EgoCrossを堅牢なクロスドメインエンボディビデオ推論問題として定式化する。
時間的境界あいまいさ、ドメイン間セマンティックミスマッチ、およびクローズドオプションによる決定不安定性の3つの主要な課題を特定します。
我々の提出物はソース制限トラックで66.35%、オープンソーストラックで66.77%、両リーダーボードで2位である。
論文 参考訳(メタデータ) (2026-05-23T09:09:12Z) - When Does Content-Based Routing Work? Representation Requirements for Selective Attention in Hybrid Sequence Models [0.0]
ハイブリッドリカレントアテンションアーキテクチャにおけるルーティングパラドックスを同定する。
コンテンツベースのルーティングは、ルーティングが避けるように設計されたペアワイズな計算を必要とすることを示す。
論文 参考訳(メタデータ) (2026-03-22T01:04:57Z) - Where Vision Becomes Text: Locating the OCR Routing Bottleneck in Vision-Language Models [2.1942030377331245]
視覚言語モデル(VLM)は画像からテキストを読み取ることができるが、この光学文字認識(OCR)情報は言語処理ストリームにどこから入ってくるのか?
因果介入を用いた3つのアーキテクチャファミリ間のOCRルーティング機構について検討する。
論文 参考訳(メタデータ) (2026-02-26T12:06:02Z) - CoV: Chain-of-View Prompting for Spatial Reasoning [64.77921266428824]
CoV(Chain-of-View)は、視覚言語モデルをアクティブな視点推論子に変換する。
我々はOpenEQA上でのCoVの評価を行い、Qwen3-VL-Flashで最大13.62%向上したLLM-Matchで平均+11.56%改善した。
論文 参考訳(メタデータ) (2026-01-08T17:59:42Z) - Dynamic Cross-Modal Feature Interaction Network for Hyperspectral and LiDAR Data Classification [66.59320112015556]
ハイパースペクトル画像(HSI)とLiDARデータ共同分類は難しい課題である。
DCMNet(Dynamic Cross-Modal Feature Interaction Network)を提案する。
BSAB(Bilinear Spatial Attention Block)、BCAB(Bilinear Channel Attention Block)、ICB(Integration Convolutional Block)の3つの機能相互作用ブロックを導入している。
論文 参考訳(メタデータ) (2025-03-10T05:50:13Z) - GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳(メタデータ) (2024-10-20T03:45:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。