論文の概要: @Bench: Benchmarking Vision-Language Models for Human-centered Assistive Technology

• arxiv url: http://arxiv.org/abs/2409.14215v2
• Date: Mon, 25 Nov 2024 15:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:15:21.280798
• Title: @Bench: Benchmarking Vision-Language Models for Human-centered Assistive Technology
• Title（参考訳）: @Bench: 人中心補助技術のためのビジョンランゲージモデルのベンチマーク
• Authors: Xin Jiang, Junwei Zheng, Ruiping Liu, Jiahang Li, Jiaming Zhang, Sven Matthiesen, Rainer Stiefelhagen,
• Abstract要約: 視覚障害者を支援するための人間中心補助技術(AT)は、複数のタスクを同時に実行することのできるジェネラリストへと進化している。 われわれはまず、PVIsで事前設計されたユーザースタディによってガイドされた新しいATベンチマーク(@Bench)を作成する。 さらに、全てのタスクを同時に処理し、PVIを支援するためにより補助的な機能に拡張できる新しいATモデル(@Model)を提案する。
• 参考スコア（独自算出の注目度）: 31.779074930032184
• License:
• Abstract: As Vision-Language Models (VLMs) advance, human-centered Assistive Technologies (ATs) for helping People with Visual Impairments (PVIs) are evolving into generalists, capable of performing multiple tasks simultaneously. However, benchmarking VLMs for ATs remains under-explored. To bridge this gap, we first create a novel AT benchmark (@Bench). Guided by a pre-design user study with PVIs, our benchmark includes the five most crucial vision-language tasks: Panoptic Segmentation, Depth Estimation, Optical Character Recognition (OCR), Image Captioning, and Visual Question Answering (VQA). Besides, we propose a novel AT model (@Model) that addresses all tasks simultaneously and can be expanded to more assistive functions for helping PVIs. Our framework exhibits outstanding performance across tasks by integrating multi-modal information, and it offers PVIs a more comprehensive assistance. Extensive experiments prove the effectiveness and generalizability of our framework.
• Abstract（参考訳）: VLM(Vision-Language Models)が進むにつれ、視覚障害者を支援するための人間中心補助技術(AT)が一般化し、複数のタスクを同時に実行できるようになった。 しかし、ATのVLMのベンチマークは未定のままである。 このギャップを埋めるために、私たちはまず新しいATベンチマーク(@Bench.com)を作成します。 PVIによる事前設計のユーザスタディにより、我々のベンチマークには、Panoptic Segmentation、Depth Estimation、OCR(Optical Character Recognition)、 Image Captioning、Visual Question Answering(VQA)の5つの重要な視覚言語タスクが含まれている。 さらに、全てのタスクを同時に処理し、PVIを支援するためにより補助的な機能に拡張できる新しいATモデル(@Model)を提案する。 本フレームワークは,マルチモーダル情報を統合することで,タスク間での卓越したパフォーマンスを示し,PVIに対してより包括的な支援を提供する。 大規模な実験により、我々のフレームワークの有効性と一般化性が証明された。

関連論文リスト

• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [55.14033256706175]
  視覚・言語情報の統合を促進するためには,LVLM(Large Vision-Language Models)が不可欠である。 本稿では,需要評価のための自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
  視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。 VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。 様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-10-21T18:10:26Z)
• VL-GLUE: A Suite of Fundamental yet Challenging Visuo-Linguistic Reasoning Tasks [48.67062958311173]
  VL-GLUEは、自然言語理解のためのマルチタスクベンチマークである。 既存の大規模視覚言語モデルでは,このベンチマークは非常に難しい。
  論文  参考訳（メタデータ） (2024-10-17T15:27:17Z)
• Benchmarking Multi-Image Understanding in Vision and Language Models: Perception, Knowledge, Reasoning, and Multi-Hop Reasoning [15.296263261737026]
  マルチイメージMIRBベンチマークを導入し、複数の画像を比較し、分析し、推論する視覚言語モデルの能力を評価する。 私たちのベンチマークには、知覚、視覚世界知識、推論、マルチホップ推論の4つのカテゴリが含まれています。 オープンソースVLMはシングルイメージタスクにおいてGPT-4Vに接近することを示したが、マルチイメージ推論タスクでは大きなギャップが残っている。
  論文  参考訳（メタデータ） (2024-06-18T16:02:18Z)
• Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey [59.95153883166705]
  従来のコンピュータビジョンは、モデルアーキテクチャで暗黙的に設計されたタスク命令を持つ専用モデルによって、個々のタスクを独立して解決する。 近年,視覚インストラクション・チューニング (VIT) の研究が盛んに行われている。 本研究の目的は,(1)コンピュータビジョンタスクのパラダイムとVIT開発を提示する背景,(2)一般的に使用されるネットワークアーキテクチャ,視覚的命令チューニングフレームワークと目的を導入したVITの基礎,および,設定とタスクの評価,(3)視覚的命令チューニングと評価において一般的に使用されるデータセットの体系的レビューを提供することである。
  論文  参考訳（メタデータ） (2023-12-27T14:54:37Z)
• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• A Continual Learning Paradigm for Non-differentiable Visual Programming Frameworks on Visual Reasoning Tasks [51.053901491986025]
  様々な視覚的推論タスクにまたがって,VisProgの継続的学習パラダイムを提案する。 我々のCLVPは、よく訓練されたタスク固有モデルの視覚的サブモジュールに、段階的に、そして、アンチフォッゲッティングな方法で蒸留する。
  論文  参考訳（メタデータ） (2023-09-18T14:28:47Z)
• VLUE: A Multi-Task Benchmark for Evaluating Vision-Language Models [21.549122658275383]
  視覚言語前訓練の最近の進歩は、様々な視覚言語タスクにおいて印象的なパフォーマンスを示している。 一般化能力と効率-性能トレードオフを評価するマルチタスクマルチディメンジョン・ベンチマークであるVision-Language Understanding Evaluationベンチマークを導入する。
  論文  参考訳（メタデータ） (2022-05-30T16:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。