論文の概要: One More Glance with Sharp Eyes: Rethinking Lightweight Captioning as a Practical Visual Specialist

• arxiv url: http://arxiv.org/abs/2508.21451v2
• Date: Mon, 13 Oct 2025 01:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:09.245871
• Title: One More Glance with Sharp Eyes: Rethinking Lightweight Captioning as a Practical Visual Specialist
• Title（参考訳）: シャープ・アイズ」の1つ:ライトウェイト・キャプションを現実のビジュアル・スペシャリストとして再考
• Authors: Junha Song, Yongsik Jo, So Yeon Min, Quanting Xie, Taehwan Kim, Yonatan Bisk, Jaegul Choo,
• Abstract要約: 125M-パラメータ言語モデルを用いて,軽量キャプションモデルを構築した。 単文で評価するが、詳細なキャプションタスクで評価する。 シャープ・イード・リファインメント (Sharp-Eyed Refinement) という新しいキャプション・フレームワークを開発し, 粗い記述をより正確なキャプションに書き換えることでキャプションの質を高める。
• 参考スコア（独自算出の注目度）: 58.89538703878721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image captioning is fundamental for applications like video-grounded chatbot systems and navigation robots, yet deploying such models on local devices is challenging due to the high computational demands of multimodal LLMs (MLLMs). To address this, we first build lightweight captioning models using a 125M-parameter language model, 56 times smaller than LLaMA-7B, and evaluate their performance not only on single-sentence but on detailed captioning tasks. We obtain surprising results showing that our model can achieve performance comparable to MLLMs, suggesting its potential to serve as a strong captioning specialist for on-device applications. While promising, our model also exhibits a limitation: like other MLLMs, it suffers from occasional captioning errors. We investigate the underlying causes and observe that the problems stem from ineffective attention mechanisms and limited visual representations. To alleviate them, we develop a novel captioning framework, Sharp-Eyed Refinement, which enhances caption quality by refining coarse descriptions into more precise captions. At its core, DeepLens improves visual grounding by re-examining the informative regions identified in the initial glance. Experimental results demonstrate the superiority of our model over both recent lightweight captioning methods and MLLMs in detailed captioning and even in long-range video QA tasks.
• Abstract（参考訳）: 画像キャプションは、ビデオグラウンドチャットボットシステムやナビゲーションロボットなどのアプリケーションには基本的だが、マルチモーダルLSM(MLLM)の高い計算要求のため、そのようなモデルをローカルデバイスにデプロイすることは困難である。 そこで我々はまず,LLaMA-7Bの56倍の125Mパラメータ言語モデルを用いて,軽量キャプションモデルを構築し,単一文だけでなく詳細なキャプションタスク上での性能評価を行った。 このモデルがMLLMに匹敵する性能を達成できることを示す驚くべき結果が得られ,デバイス上のアプリケーションにおいて強力なキャプションスペシャリストとして機能する可能性が示唆された。 我々のモデルは有望だが、他のMLLMと同様、時折キャプションエラーに悩まされる。 本研究は,問題の原因を解明し,非効果的な注意機構と限られた視覚的表現から生じることを観察する。 そこで我々は, シャープ・イード・リファインメント(Sharp-Eyed Refinement, シャープ・イード・リファインメント, シャープ・イード・リファインメント, シャープ・イード・リファインメント, シャープ・リファインメント, シャープ・イード・リファインメント) を開発した。 中心となるDeepLensは、一見したところで識別された情報領域を再検査することで、視覚的接地を改善する。 実験結果から,近年の軽量キャプション方式とMLLMを併用して,詳細なキャプションや長距離ビデオQAタスクにおいても,モデルの優位性を示すことができた。

関連論文リスト

• Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models [1.9253106218929117]
  MLLM(Multimodal Large Language Models)は、視覚的な入力を完全に活用できないことが多い。 われわれのアプローチはまず、MLLMが画像領域の視覚的理解をどのように構築するかについての洞察を与え、その能力を増幅する技術を導入する。 本稿では,視覚的に依存するトークンの予測能力の定量化と,視覚的に困難なタスクの10 pt の高速化により,結果モデルのより優れたマルチモーダル理解を実証する。
  論文  参考訳（メタデータ） (2025-05-08T20:04:27Z)
• CoF: Coarse to Fine-Grained Image Understanding for Multi-modal Large Language Models [16.91226496250909]
  マルチモーダルな理解は、粗いものから細かいものへと、2つの段階に分けられる。 第1段階では,MLLMに回答のほぼ面積を特定するよう促す。 第2段階では、視覚的なプロンプトエンジニアリングにより、関連する領域に対するモデルの焦点をさらに強化する。
  論文  参考訳（メタデータ） (2024-12-22T05:42:40Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
  大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。 生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。 そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
  論文  参考訳（メタデータ） (2024-02-09T01:00:14Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。