論文の概要: How Much Does It Cost to Answer My Question? Benchmarking Cloud VLM-based VQA Systems

• arxiv url: http://arxiv.org/abs/2608.07861v1
• Date: Sat, 08 Aug 2026 01:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.535753
• Title: How Much Does It Cost to Answer My Question? Benchmarking Cloud VLM-based VQA Systems
• Title（参考訳）: 私の質問に答えるのにいくらかかるか?クラウドVLMベースのVQAシステムのベンチマーク
• Abstract要約: VQABenchは、クライアント側入力前処理をクラウドVLMベースのVQAの制御変数として扱う最初の体系的ベンチマークである。 提案手法の有効性は,対象モデル,APIパラダイム,プロバイダトークンの会計規則,タスクの定式化などに依存する。
• 参考スコア（独自算出の注目度）: 7.988321699307524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language models (VLMs) are becoming a practical backend for mobile visual question answering (VQA) systems, enabling smartphones and smart glasses to answer users' questions about the physical world. Since modern VLMs remain difficult to run on mobile and edge devices, VQA systems increasingly offload inference to cloud-based VLMs. This gives mobile devices access to stronger computation, but it also makes visual input preparation a key system variable: how the image is prepared before offloading affects not only answer quality but also payload size, token cost, and system latency. Proprietary APIs expose little control over model internals or serving behavior, leaving client-side preprocessing as the main practical optimization space for downstream developers. Many such techniques have been proposed for visual offloading, yet their cost-quality impact on commercial cloud VLMs has never been studied. To fill this gap, we present VQABench, the first systematic benchmark that treats client-side input preprocessing as a controlled variable for cloud-VLM-based VQA. We evaluate 12 preprocessing techniques across three VQA datasets and four commercial VLMs from three providers, totaling 95,168 API calls. Our results show that preprocessing is not universally beneficial: its effectiveness depends on the target model, API paradigm, provider token-accounting rule, and task formulation. A poorly selected preprocessing strategy can increase deployment cost or latency while degrading answer accuracy. Overall, our benchmark clarifies when preprocessing helps, when it fails, and why, providing insights to guide future research and real-world deployment of VQA systems.
• Abstract（参考訳）: 視覚言語モデル(VLM)は,モバイル視覚質問応答システム(VQA)の実用的なバックエンドになりつつある。 現代のVLMはモバイルやエッジデバイス上での動作が難しいため、VQAシステムはクラウドベースのVLMに推論をオフロードする傾向にある。 これにより、モバイルデバイスはより強力な計算にアクセスできるが、視覚的な入力の準備が重要なシステム変数になる: オフロード前のイメージの作り方が、応答品質だけでなく、ペイロードサイズ、トークンコスト、システムレイテンシにも影響する。 プロプライエタリAPIはモデル内部やサービス動作の制御をほとんど行わず、クライアントサイドのプリプロセッシングを下流の開発者にとって主要な実用的な最適化スペースとして残している。 このような技術の多くは視覚的オフロードのために提案されているが、商用クラウドVLMに対するコスト品質の影響は研究されていない。 このギャップを埋めるために、クライアント側入力前処理をクラウドVLMベースのVQAの制御変数として扱う最初の体系的なベンチマークであるVQABenchを提案する。 3つのVQAデータセットと3つのプロバイダから4つの商用VLMにまたがる12の事前処理技術を評価し、合計95,168のAPI呼び出しを行った。 提案手法の有効性は,対象モデル,APIパラダイム,プロバイダトークンの会計規則,タスクの定式化などに依存する。 選択の不十分な事前処理戦略は、回答の精度を低下させながら、デプロイメントコストやレイテンシを向上させることができる。 全体として、我々のベンチマークは、前処理がいつ有効か、いつ失敗するか、なぜかを明らかにし、将来の研究とVQAシステムの実環境展開をガイドするための洞察を提供する。

関連論文リスト

• Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
  textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。 emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。 emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
  論文  参考訳（メタデータ） (2026-04-20T16:15:33Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• How Do VLAs Effectively Inherit from VLMs? [28.72002932514493]
  視覚言語アクション(VLA)モデルは、一般化可能な具体化制御を実現するという約束を持っている。 我々は、絵文字テーブルトップ操作タスクであるGrinningFaceという診断ベンチマークを導入する。 本稿では,パラメータ効率のよい微調整,VLM凍結,協調学習,離散化動作の予測,潜伏動作の予測の効果について検討する。
  論文  参考訳（メタデータ） (2025-11-10T01:58:02Z)
• QSVD: Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models [13.850959421148273]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といったタスクに不可欠なモデルである。 大規模なメモリフットプリントと処理時間によって駆動される高い計算コストは、スケーラビリティとリアルタイム適用性を制限します。 結合クエリ(Q),キー(K),値(V)重み行列に対して,Singular-Value Decomposition(SVD)を活用することで,KVキャッシュサイズと計算オーバーヘッドを低減することを提案する。
  論文  参考訳（メタデータ） (2025-10-18T01:31:14Z)
• QG-VTC: Question-Guided Visual Token Compression in MLLMs for Efficient VQA [16.494799458292]
  画像はテキストよりも冗長な情報が多く、視覚的な詳細が特定の質問に関係しているわけではない。 MLLMに基づくVQAタスクのための新しい質問誘導型ビジュアルトークン圧縮手法であるQG-VTCを提案する。 QG-VTCは、事前訓練されたテキストエンコーダと学習可能なフィードフォワード層を使用して、ユーザ質問を視覚エンコーダの機能空間に埋め込む。
  論文  参考訳（メタデータ） (2025-04-01T11:07:19Z)
• Can Visual Language Models Replace OCR-Based Visual Question Answering Pipelines in Production? A Case Study in Retail [8.04779839951237]
  本稿では,視覚質問応答タスクにおける視覚言語モデル(VLM)の性能と限界について分析する。 我々は、Retail-786kデータセットから得られたデータを用いて、事前訓練されたVLMの能力を調べ、画像内の広告商品に関する詳細な質問に答える。
  論文  参考訳（メタデータ） (2024-08-28T08:25:41Z)
• DriveLM: Driving with Graph Visual Question Answering [57.51930417790141]
  本研究では,Webスケールデータに基づいて学習した視覚言語モデル(VLM)を,エンド・ツー・エンドの運転システムに統合する方法について検討する。 グラフVQAとエンドツーエンド駆動を併用するVLMベースラインアプローチ(DriveLM-Agent)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:12Z)
• Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering [47.668572102657684]
  本稿では,視覚言語モデル(VLM)の能力を高めるために,LLM(Large Language Models)の拡張的知識を活用することで,新しいマルチエージェントコラボレーションフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-29T03:10:42Z)
• Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models [71.06007696593704]
  BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。 実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。 最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
  論文  参考訳（メタデータ） (2023-07-26T06:38:33Z)
• From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models [111.42052290293965]
  大規模言語モデル(LLM)は、新しい言語タスクに対して優れたゼロショット一般化を証明している。 視覚と言語データに対するエンドツーエンドのトレーニングは、切断を橋渡しするかもしれないが、柔軟性がなく、計算コストがかかる。 上述したモダリティとタスクの切断をブリッジできるプロンプトを提供するプラグイン・アンド・プレイモジュールであるemphImg2Promptを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:39:36Z)
• Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules [85.98177341704675]
  近年,VQAタスクの接地に関する問題が研究コミュニティで注目されている。 カプセル特徴のクエリーに基づく選択機構を備えたビジュアルカプセルモジュールを提案する。 提案するカプセルモジュールを既存のVQAシステムに統合することで,弱教師付き接地作業における性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-05-11T07:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。