論文の概要: Focus Where It Counts: A Salience-Driven Vision-Language Model for Low Vision Assistance
- arxiv url: http://arxiv.org/abs/2608.28218v1
- Date: Fri, 28 Aug 2026 11:35:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.302812
- Title: Focus Where It Counts: A Salience-Driven Vision-Language Model for Low Vision Assistance
- Title（参考訳）: 低ビジョン支援のためのサリエンス駆動型ビジョンランゲージモデル
- Abstract要約: 本研究では,人中心支援の重要性に応じてシーン要素を優先するサリエンス駆動キャプションフレームワークを提案する。
低視力被験者によるサリエンス・アウェア・データセットの構築、重要度順にオブジェクトを記述するためのSalience-LLaVAの提案、注文精度を評価するためのSCMIの導入、現実の実用性を示すための補助メガネへのシステム展開などを行う。
- 参考スコア（独自算出の注目度）: 18.85523453781126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) are rapidly progressing and offer promising capabilities for assistive technologies supporting persons with blindness or low vision. However, existing VLMs are primarily designed for general-purpose captioning and do not explicitly model human perceptual priorities, thereby limiting their ability to emphasize the most relevant information in a scene. To address this gap, we propose a salience-driven captioning framework that prioritizes scene elements according to their importance for human-centered assistance. We curate three salience-aware datasets, namely, Salience COCO, Salience Flickr, and Salience VizWiz, with object-level salience annotations designed to reflect the visual information most relevant to low vision users across different environments. Building on these datasets, we introduce Salience-LLaVA, a salience-aware VLM that incorporates salience cues to generate captions in which important elements are mentioned in the order of importance. Our work makes four main contributions. We build salience-aware datasets verified by low vision participants, propose Salience-LLaVA to describe objects in the order of importance, introduce SCMI to evaluate ordering accuracy, and deploy the system on assistive glasses to demonstrate real-world practicality. Code and datasets are available at: https://github.com/topo-focus/Topofocus
- Abstract（参考訳）: 視覚言語モデル(VLM)は急速に進歩しており、視覚障害者を支援する補助技術として有望な能力を提供している。
しかしながら、既存のVLMは主に汎用キャプション用に設計されており、人間の知覚的優先順位を明示的にモデル化していないため、シーンにおける最も関連性の高い情報を強調する能力が制限される。
このギャップに対処するために,人間中心の支援の重要性に応じてシーン要素を優先順位付けするサリエンス駆動キャプションフレームワークを提案する。
私たちは3つのサリエンス対応データセット、すなわちSalience COCO、Salience Flickr、Salience VizWizを、さまざまな環境における低ビジョンユーザにとって最も関連性の高い視覚情報を反映したオブジェクトレベルのサリエンスアノテーションでキュレートします。
これらのデータセットに基づいて、サリエンスを意識したVLMであるSalience-LLaVAを紹介し、重要な要素が重要順に言及されるキャプションを生成する。
私たちの仕事は4つの主な貢献をします。
低視力被験者によるサリエンス・アウェア・データセットの構築、重要度順にオブジェクトを記述するためのSalience-LLaVAの提案、注文精度を評価するためのSCMIの導入、現実の実用性を示すための補助メガネへのシステム展開などを行う。
コードとデータセットは、https://github.com/topo-focus/Topofocusで入手できる。
関連論文リスト
- How Do LLMs and VLMs Understand Viewpoint Rotation Without Vision? An Interpretability Study [17.830219852925715]
言語的視点から見た空間情報の基本的・重要な能力に焦点をあてる:視点回転理解(VRU)
LLMとVLMはどちらも提案したデータセットでは性能が悪く,人間は100%の精度で容易に達成できることがわかった。
その結果, モデルが隠れ状態の視点情報をエンコードしているにもかかわらず, 視線位置と対応する観測値との結合に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2026-04-16T17:55:19Z) - Steerable Visual Representations [72.39044430620977]
我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。
また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
論文 参考訳（メタデータ） (2026-04-02T17:59:49Z) - Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。
本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。
本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
論文 参考訳（メタデータ） (2025-11-21T21:36:48Z) - Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models [13.17978215666921]
LVLM(Large Vision-Language Models)は、画像中の重要なオブジェクトを正確に見つけることができるが、これらのオブジェクトへの注意は非常に短い傾向にある。
キーオブジェクトへの継続的なフォーカスがLVLMの視覚能力を向上させるという仮説に触発され、CLVS(Cross-Layer Vision Smoothing)を提案する。
CLVSは様々な視覚的理解タスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-09-16T09:54:01Z) - Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities [54.94982467313341]
視覚言語モデル(VLM)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
我々は、設計のどのコンポーネントが欠落しているかを調査する一連のテストを構築することで、基本的な視覚的タスクにおけるSoTA VLMの限界を理解することにしました。
論文 参考訳（メタデータ） (2025-07-10T15:26:41Z) - Revisit What You See: Disclose Language Prior in Vision Tokens for LVLM Decoding [6.612630497074871]
LVLM(Large Vision-Language Models)は、視覚認識と言語理解を統合することで、マルチモーダルタスクにおける強力なパフォーマンスを実現する。
テキスト生成のガイドとして視覚トークンを参照するトレーニング不要な復号法であるReVisiTを提案する。
論文 参考訳（メタデータ） (2025-06-11T08:46:55Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。
視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。
視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
論文 参考訳（メタデータ） (2025-03-21T17:51:14Z) - COSMOS: Cross-Modality Self-Distillation for Vision Language Pre-training [49.2684130383925]
視覚言語事前学習のためのCOSMOS: CrOSs-modality Self-distillationを提案する。
新たなテキストクロッピング戦略とクロスアテンションモジュールを自己教師型学習フレームワークに統合する。
さまざまなゼロショットダウンストリームタスクにおいて、以前の強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2024-12-02T18:56:06Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。
本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
論文 参考訳（メタデータ） (2024-08-13T08:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。