論文の概要: Learning to Look: A Foundation for Visual Understanding

• arxiv url: http://arxiv.org/abs/2611.02053v1
• Date: Sun, 01 Nov 2026 16:57:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:11:31.503455
• Title: Learning to Look: A Foundation for Visual Understanding
• Title（参考訳）: 見ることを学ぶ - 視覚的理解のための基盤
• Abstract要約: 我々は、視覚言語モデル(VLM)が、画像の意味を理解する前に、どこを見ているかさえ認識しているかどうかを問う。 我々は、この疑問をLOOKタスクとして定式化し、その視覚入力のどの部分がモデルで利用可能かを特定する。 利用可能な領域をモデルに手動でラベル付けすることなく,タスクを自己管理的に構築する。
• 参考スコア（独自算出の注目度）: 34.43251182898356
• License:
• Abstract: Vision-language models (VLMs) suffer from visual hallucination, such as saying an object that is not present in an image. We ask a more fundamental question: whether a VLM is even aware of where it is looking before understanding the semantic meaning in the image. We formulate this question as a LOOK task: identifying which parts of its visual input were available to the model. We construct the task in a self-supervised way without manually labeling the available region to the model. Our experiments show that existing VLMs fail to localize the visible region. We further show that fine-tuning VLMs on the proposed LOOK task improves a model's awareness of visual input.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像に存在しない物体を言うなど視覚幻覚に悩まされる。 画像の意味を理解する前に、VLMがどこに目を向けているかさえ認識しているかどうかという、より基本的な問いを問う。 我々は、この疑問をLOOKタスクとして定式化し、その視覚入力のどの部分がモデルで利用可能かを特定する。 利用可能な領域をモデルに手動でラベル付けすることなく,タスクを自己管理的に構築する。 実験の結果,既存のVLMは可視領域のローカライズに失敗していることがわかった。 さらに,提案するLOOKタスクの微調整VLMにより,視覚的入力に対するモデルの認識が向上することを示す。

関連論文リスト

• Evaluating Visual Language Models on Visual Grounding for Visually Impaired People [2.550340338874312]
  視覚障害者のための視覚言語モデル(VLM)の視覚的グラウンドリングについて検討した。 本稿では,既存の説明可能性フレームワークを拡張し,視覚的根拠説明を提供するVG-SHAPを提案する。 我々のVizWiz-VQA-Groundingチャレンジの結果から、VLMは正しい回答を得られるにもかかわらず、画像の適切な領域に接するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2026-10-21T08:56:07Z)
• Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow [32.21470980856891]
  VLM(Vision-Language Models)は、視覚認識、文書解析、視覚的グラウンドニングなど、幅広いタスクにおいて強力な能力を示している。 最近の研究は、VLMが問題に対応する正しい画像領域をキャプチャすることが多いが、必ずしも正しい答えを生成するとは限らないことを示している。 テキストトークンが無関係な視覚トークンに過度に注意を散らしすぎる場合、この誤認識はVLM内の最適情報フローに起因する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-04-17T08:07:22Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
  視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。 VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
  論文  参考訳（メタデータ） (2025-06-09T17:59:54Z)
• Probing Visual Language Priors in VLMs [51.016683265437536]
  我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。 ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。 本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T17:54:29Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models [20.697019266074747]
  視覚言語モデル(VLM)は、視覚エンコーダと大型言語モデル(LLM)を組み合わせて世界を認識する。 近年の研究では、VLMは幻覚に弱いことが示されている。 我々は、True Understanding (TU)、IGnorance (IG)、StuBbornness (SB)、InDecision (ID)といった新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2024-07-18T12:11:12Z)
• An Introduction to Vision-Language Modeling [128.6223984157515]
  視覚言語モデル(VLM)の応用は、我々の技術との関係に大きな影響を与えるだろう。 VLMとは何か、どのように動作するのか、どのようにトレーニングするかを紹介します。 本研究は,主に画像から言語へのマッピングに焦点を当てるが,ビデオへのVLMの拡張についても論じる。
  論文  参考訳（メタデータ） (2024-05-27T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。