論文の概要: Where Do Long Captions Fail? Position-Aware Diagnosis and Reinforcement Learning for Detailed Image Captioning

• arxiv url: http://arxiv.org/abs/2610.31111v1
• Date: Thu, 22 Oct 2026 11:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.33637
• Title: Where Do Long Captions Fail? Position-Aware Diagnosis and Reinforcement Learning for Detailed Image Captioning
• Title（参考訳）: ロングキャプションはどこに機能しないのか? -詳細な画像キャプションのための位置認識診断と強化学習-
• Abstract要約: 長文キャプションは、どの事実が言及されているかだけでなく、どこに現れるかによっても研究されるべきである。 我々は,高密度な人間の参照を原子視覚的クレームに分解する位置認識ルーブリック表現を導入する。 実験の結果、PAGERは、競争力のあるグローバルキャプションの品質を維持しながら、位置的接地とペア的なキャプションの嗜好を改善していることがわかった。
• 参考スコア（独自算出の注目度）: 49.508548985535526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detailed image captioning is usually framed as an amount problem: a model should mention more visual facts while avoiding hallucination. However, autoregressive VLMs generate captions as ordered sequences, and later generations may be produced under weaker or noisier visual grounding. We therefore argue that long-form captioning should be studied not only by what facts are mentioned, but also by where they appear. We introduce a position-aware rubric representation that decomposes dense human references into atomic visual claims, verifies generated captions against those claims, and induces a quartile-wise composition of supported, hallucinated, and generic content. This lens reveals two qualitatively different failures in long captions: models tend to produce unsupported specificity in the middle, while the final portion often escapes into vague, non-evidential language rather than simply accumulating more hallucination. A same-reference human control does not exhibit these patterns; additional human audits examine the visual validity of the induced labels. Motivated by this diagnosis, we propose PAGER (Position-Aware Grounded Evidence Reinforcement), a GRPO training objective with separate signals for supported fine-grained middle evidence, evidence-bearing tail continuation, claim coverage, and content-aware length control. The result is a closed loop: the same ordered claim representation identifies where long captions fail and supplies the position-specific reward needed to repair those failures. Experiments on detailed-caption benchmarks show that PAGER improves position-wise grounding and pairwise caption preference while preserving competitive global caption quality.
• Abstract（参考訳）: 詳細な画像キャプションは通常、量的な問題としてフレーム化される: モデルは幻覚を避けながら、より多くの視覚的事実を言及すべきである。 しかし、自己回帰VLMは順序づけられたシーケンスとしてキャプションを生成し、その後の世代はより弱いまたはノイズの多い視覚的接地の下で生成される。 したがって、どの事実が言及されているかだけでなく、どの場面に現れるかによっても、長文のキャプションが研究されるべきである。 本研究では,高密度な人間の参照を原子視的クレームに分解し,それらのクレームに対して生成されたキャプションを検証し,サポートされた,幻覚された,ジェネリックな内容の質的な構成を誘導する位置認識ルーブリック表現を提案する。 このレンズは、長いキャプションで2つの定性的に異なる失敗を露呈する:モデルが中央でサポートされない特異性を産み出す傾向があるのに対して、最終部分は、単に幻覚を蓄積するのではなく、曖昧で無意味な言語に逃れることが多い。 同じ基準の人間の制御はこれらのパターンを示さず、追加の人間の監査は、誘導されたラベルの視覚的妥当性を検査する。 この診断を契機に,詳細な中程度証拠,エビデンスを含む尾部継続,クレームカバレッジ,コンテンツ認識長制御を支援するためのGRPO訓練目標であるPAGERを提案する。 同じ順序付きクレーム表現は、長いキャプションが失敗した場所を特定し、それらの障害を修復するのに必要な位置固有の報酬を提供する。 詳細なキャプションベンチマーク実験により、PAGERは、競争力のあるグローバルキャプションの品質を維持しながら、位置的グラウンドとペアワイズキャプションの嗜好を改善していることが示された。

関連論文リスト

• HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models [70.67112531913669]
  視覚言語モデルにおける幻覚は、一般的に意味的誤りとして扱われる。 それまでの研究は主に、世代ごとの幻覚の検出や抑制に重点を置いていた。 幻覚的意味論がモデルの推論コンテキストに入る段階である PHR (Post Hallucination Reasoning) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T15:02:11Z)
• Improving Reasoning in Vision-Language Models via Perception Verified Self-Training [3.443084677278651]
  本稿では,視覚的根拠に基づく推論を強制する自己学習フレームワークを提案する。 まず,認識を推論から切り離すCoTテンプレートを用いて,視覚的理解の独立した検証を可能にする。 回答の正確さとともにキャプション検証を用いて、データを3つのサブセットに分割する: 簡単(正しいキャプションと結論)、中(正しいキャプションだが、間違った結論)、ハード(間違ったキャプション)。
  論文  参考訳（メタデータ） (2026-06-20T17:33:07Z)
• VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning [57.588999592609646]
  本稿では,参照キャプション(証人)と視覚信号(代弁者)とをペアにする,証人-代弁者報酬であるVCapを提案する。 VCapは、キャプションの品質検証のための超幾何分布レベルの精度を持つ報酬信号を提供する。 実験では,VCapでトレーニングした8Bモデルは,複数の画像およびビデオキャプションベンチマーク上で,オープンソースおよびクローズドソースSOTAモデルより優れていた。
  論文  参考訳（メタデータ） (2026-05-27T06:27:04Z)
• ClaimDiff-RL: Fine-Grained Caption Reinforcement Learning through Visual Claim Comparison [38.42736245144838]
  ClaimDiff-RLは、参照条件付き原子クレーム差分をキャプションRLの報酬単位として使用するフレームワークである。 ClaimDiff-RLは幻覚のバランスを改善し、一般的な能力を保ち、いくつかの細粒度キャパビリティー次元のGemini-3-Pro-Previewを超えている。
  論文  参考訳（メタデータ） (2026-05-19T04:39:28Z)
• OVFact: Measuring and Improving Open-Vocabulary Factuality for Long Caption Models [65.8015696586307]
  長字幕の字幕事実性を測定する新しい方法であるOV-Factを紹介する。 提案手法は,人間の判断との一致を改善し,同じ指標におけるキャプタネス(リコール)と事実精度の両方をキャプチャする。 従来のメトリクスとは異なり、参照不要なメソッド設計は、ファクトリティベースのデータフィルタリングに向けた新しいアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-25T13:38:06Z)
• ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
  高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。 本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。 450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-06-24T17:59:55Z)
• What Makes for Good Image Captions? [50.48589893443939]
  我々のフレームワークは、優れた画像キャプションは、情報的に十分であり、最小限の冗長であり、人間によって容易に理解できるという3つの重要な側面のバランスをとるべきであると仮定している。 本稿では,局所的な視覚情報とグローバルな視覚情報を統合することで,豊かなキャプションを生成するParamid of Captions(PoCa)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T12:49:57Z)
• Mitigating Open-Vocabulary Caption Hallucinations [33.960405731583656]
  オープン語彙設定における画像キャプションにおける幻覚に対処する枠組みを提案する。 我々のフレームワークには、生成基盤モデルを利用してオープン語彙オブジェクト幻覚を評価する新しいベンチマークであるOpenCHAIRが含まれている。 閉じたオブジェクトリストを使わずにオープン語彙の幻覚を緩和するために,MOCHaを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。