論文の概要: One More Glance with Sharp Eyes: Rethinking Lightweight Captioning as a Practical Visual Specialist

• arxiv url: http://arxiv.org/abs/2508.21451v1
• Date: Fri, 29 Aug 2025 09:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.990377
• Title: One More Glance with Sharp Eyes: Rethinking Lightweight Captioning as a Practical Visual Specialist
• Title（参考訳）: シャープ・アイズ」の1つ:ライトウェイト・キャプションを現実のビジュアル・スペシャリストとして再考
• Authors: Junha Song, Yongsik Jo, So Yeon Min, Quanting Xie, Taehwan Kim, Yonatan Bisk, Jaegul Choo,
• Abstract要約: 我々はLLaMA-7Bより56倍小さい言語モデルに基づく軽量キャプションモデルを開発した。 我々のモデルは、大規模マルチモーダル・ジェネラリストに匹敵する性能を達成することができる。 シャープ・イード・リファインメント(Sharp-Eyed Refinement, シャープ・イード・リファインメント, シャープ・イード・リファインメント)を開発した。
• 参考スコア（独自算出の注目度）: 58.89538703878721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image captioning is fundamental for applications like video instruction systems and exploration robots, yet deploying such models on local devices is challenging due to the high computational demands of multimodal large language models (MLLMs). To address this, we first explore lightweight captioning by implementing a specialist based on a 125M-parameter language model, 56 times smaller than LLaMA-7B, and evaluating its performance on both single-sentence and detailed captioning tasks. Surprisingly, we find that our model can achieve performance comparable to large multimodal generalists, suggesting its potential to serve as a strong visual specialist for on-device applications. While promising, our model also exhibits a limitation: like other MLLMs, it suffers from visual blindness, occasionally resulting in semantic captioning errors. We carry out toy experiments and investigate the underlying causes, where we observe that the problems arise from ineffective attention mechanisms and limited visual representations. To alleviate them, we develop a novel captioning framework, Sharp-Eyed Refinement, which enhances caption quality through improved visual grounding. At its core, our DeepLens extracts detailed visual representations by concentrating on informative regions identified during the initial glance. Our experiments confirm both the advantages of our specialist over prior small captioning models and large generalists and the effectiveness of our framework.
• Abstract（参考訳）: 画像キャプションは、ビデオインストラクションシステムや探索ロボットなどのアプリケーションには基本的だが、マルチモーダル大言語モデル(MLLM)の高い計算要求のため、ローカルデバイスにそのようなモデルをデプロイすることは困難である。 そこで我々はまず,LLaMA-7Bの56倍小さい125Mパラメータ言語モデルに基づいて,軽量キャプション機能を実装し,単一文および詳細なキャプションタスクの性能評価を行った。 驚いたことに、我々のモデルは大規模マルチモーダル・ジェネラリストに匹敵する性能を達成でき、デバイス上のアプリケーションの強力なビジュアルスペシャリストとして機能する可能性を示唆している。 他のMLLMと同様、視覚障害に悩まされ、時に意味的なキャプションエラーが発生する。 玩具実験を行い,その根本原因を解明し,非効果的な注意機構と限られた視覚的表現から問題が発生することを観察した。 そこで我々は, シャープ・イード・リファインメント(Sharp-Eyed Refinement, シャープ・イード・リファインメント, シャープ・イード・リファインメント, シャープ・イード・リファインメント)を開発した。 中心となるDeepLensは、最初の一見で特定された情報領域に集中して、詳細な視覚的表現を抽出します。 本実験は, 従来の小キャプションモデルと大規模ジェネラリストに対する専門家の優位性と, フレームワークの有効性を両立させるものである。

関連論文リスト

• Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models [1.9253106218929117]
  MLLM(Multimodal Large Language Models)は、視覚的な入力を完全に活用できないことが多い。 われわれのアプローチはまず、MLLMが画像領域の視覚的理解をどのように構築するかについての洞察を与え、その能力を増幅する技術を導入する。 本稿では,視覚的に依存するトークンの予測能力の定量化と,視覚的に困難なタスクの10 pt の高速化により,結果モデルのより優れたマルチモーダル理解を実証する。
  論文  参考訳（メタデータ） (2025-05-08T20:04:27Z)
• CoF: Coarse to Fine-Grained Image Understanding for Multi-modal Large Language Models [16.91226496250909]
  マルチモーダルな理解は、粗いものから細かいものへと、2つの段階に分けられる。 第1段階では,MLLMに回答のほぼ面積を特定するよう促す。 第2段階では、視覚的なプロンプトエンジニアリングにより、関連する領域に対するモデルの焦点をさらに強化する。
  論文  参考訳（メタデータ） (2024-12-22T05:42:40Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
  大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。 生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。 そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
  論文  参考訳（メタデータ） (2024-02-09T01:00:14Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。