論文の概要: Small yet Assistive: Spatially-Aware Post-Training for Low Vision

• arxiv url: http://arxiv.org/abs/2609.28757v1
• Date: Wed, 23 Sep 2026 20:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.541214
• Title: Small yet Assistive: Spatially-Aware Post-Training for Low Vision
• Title（参考訳）: 小さいが補助的:低視力のための空間認識後訓練
• Abstract要約: 世界10億人が視覚障害で暮らしている。 現在の視覚学習モデル(VLM)は、視覚障害者や低視野者(BLV)による安全なナビゲーションには曖昧すぎる記述を生成する。 Smol-VL-BLVは視覚障害者のためのコンパクトなVLMであり,500Mデコーダトランスモデルを用いてこのギャップを埋める。
• 参考スコア（独自算出の注目度）: 19.554525578756323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An estimated 1 billion people worldwide live with vision impairment, yet current vision-language models (VLMs) produce descriptions too vague for safe navigation by blind and low-vision (BLV) users. Large VLMs can generate high-quality audio-description-compliant narrations but cannot run on mobile devices; small VLMs offer competitive latency but lack spatial detail, directional cues, and hazard awareness for navigational assistance. We present Smol-VL-BLV, a compact VLM for blind and low-vision users that closes this gap using a 500M decoder transformer model and two post-training mechanisms: (1) teacher-student distillation and (2) Group Relative Policy Optimization (GRPO) with a composite BLV reward targeting directional language, metric distances, and hazard detection. Because multi-stage post-training can induce catastrophic forgetting, we add a lightweight finetuning stage after the last stage GRPO finetuning to recover general descriptive quality while preserving BLV-specific spatial grounding. Our best model substantially outperforms the baseline across various benchmarks, including tasks: VQA, BLV captioning, OCR, and latency. Compared with the baseline for relative improvement, it improves the Spatial score gain of 19.3%, and the Social score gain of 14.8%. It also increases OCR-Bench by 101.5%, and raises TextVQA accuracy by 44.2%. These results show that BLV-focused post-training improves both accessibility-specific spatial grounding and general visual-text reasoning. Deployed on a mid-range Android smartphone via Mixed-Precision Quantization, the model remains approx. 450 MB and runs entirely on-device, offline and without network dependency, generating descriptions with latency dependent on host hardware capabilities. Our model, dataset, and code is publicly released at https://smol-vl-blv.github.io/Smol-VL-BLV-website/
• Abstract（参考訳）: 世界中の推定10億人が視覚障害で生活しているが、現在の視覚言語モデル(VLM)では、視覚障害者や低視野ユーザーによる安全なナビゲーションには曖昧すぎる記述が生み出されている。 大規模なVLMは高品質なオーディオ記述準拠のナレーションを生成することができるが、モバイルデバイスでは動作できない。 Smol-VL-BLVは,500Mデコーダトランスフォーマモデルと2つのポストトレーニングメカニズムを用いて,このギャップを埋める,視覚障害者のためのコンパクトなVLMである。 多段後訓練は破滅的忘れを生じさせるため,最終段階のGRPO微調整後,BLV特異的な空間接地を保ちながら一般的な記述品質を回復するために,軽量な微調整段階を付加する。 私たちのベストモデルは、VQA、BLVキャプション、OCR、レイテンシといったタスクを含む、さまざまなベンチマークでベースラインを大幅に上回っています。 相対的な改善の基準と比較すると、空間得点は19.3%、社会得点は14.8%向上している。 また、OCR-Benchを101.5%向上させ、TextVQAの精度を44.2%向上させた。 これらの結果から,BLVに着目したポストトレーニングは,アクセシビリティ特異的な空間的接地と一般的な視覚テキスト推論の両方を改善することが示唆された。 Mixed-Precision Quantizationを通じて、ミッドレンジのAndroidスマートフォンにデプロイされるこのモデルは、いまだに控えめだ。 450MBで、完全にオンデバイス、オフライン、ネットワーク依存なしで動作し、ホストハードウェア機能に依存するレイテンシで記述を生成する。 私たちのモデル、データセット、コードはhttps://smol-vl-blv.github.io/Smol-VL-BLV-website/で公開されています。

関連論文リスト

• StableVLA: Towards Robust Vision-Language-Action Models without Extra Data [68.81275738717765]
  トレーニングデータセット内のあらゆる障害を包含することは不可能である。 このことは、目に見えない現実世界の視覚障害に遭遇する際のビジョン・ランゲージ・アクション(VLA)モデルの堅牢性に関する批判的な疑問を提起する。 本研究では、最近の最先端VLAモデルに基づく系統的な研究を行い、トレーニングデータに欠落した視覚障害が発生した場合に顕著な性能低下を示す。
  論文  参考訳（メタデータ） (2026-05-18T12:15:16Z)
• Roboflow100-VL: A Multi-Domain Object Detection Benchmark for Vision-Language Models [39.24039377570009]
  本稿では,100個のマルチモーダルオブジェクト検出データセットの大規模コレクションであるRoboflow100-VLを紹介する。 我々は、ゼロショット、少数ショット、半教師付き、完全教師付き設定で、我々のベンチマークの最先端モデルを評価する。 CVPR 2025 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2025-05-27T01:24:29Z)
• How Blind and Low-Vision Individuals Prefer Large Vision-Language Model-Generated Scene Descriptions [38.22472823480205]
  LVLM(Large Vision-Language Models)はシーン記述の生成を約束するが,BLVユーザに対する有効性は未定である。 8人のBLV参加者とユーザスタディを行い、6種類のLVLM記述の好みを体系的に評価した。 彼らは恐怖を減らし、行動可能性を向上させるのに役立ったが、ユーザーの評価は、満足度と簡潔さの幅広いバリエーションを示した。
  論文  参考訳（メタデータ） (2025-02-15T10:17:52Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [84.84277196012907]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。