論文の概要: ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning

• arxiv url: http://arxiv.org/abs/2607.21022v1
• Date: Thu, 23 Jul 2026 08:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.32929
• Title: ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning
• Title（参考訳）: ProCap: 忠実で包括的なビデオキャプションのためのプロミネンスガイド付き物体の定型化
• Abstract要約: 既存の訓練なしの代替手段は、幻覚を抑制するために検出対象に接頭辞を付ける。 本稿では,下層のキャプションモデルのパラメータを変更することなく,両方の制約を克服する,突発的なポストホック修正フレームワークを提案する。 我々は,MSVD と MSR-VTT の枠組みを,対象となる自動測定値,110 人の被験者による研究,ChatGPT と Gemini との質的比較を用いて検証した。
• 参考スコア（独自算出の注目度）: 5.0149699000056644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving video captioning quality typically demands retraining large vision-language models, an expensive and often impractical requirement. Existing training-free alternatives instead ground captions in detected objects to curb hallucination, but apply only a single, fixed correction pass without prioritizing which objects matter most, leaving semantically significant content omitted. We propose a prominence-aware, iterative post-hoc rectification framework that overcomes both limitations without modifying the underlying captioning model's parameters: a lightweight scoring mechanism ranks detected objects by spatial saliency, temporal persistence, and relational dynamics, and an iterative, prompt-driven refinement loop uses this ranking to progressively inject missing yet contextually relevant objects into the caption over multiple rounds. We validate the framework on MSVD and MSR-VTT using object-grounded automatic metrics, a 110-participant human study, and qualitative comparison against ChatGPT and Gemini; in human evaluation, the framework raises perceived completeness by up to 48% and reduces hallucination by up to 45% relative to a strong pretrained captioning baseline, all without retraining or reference captions. These results position prominence-guided iterative rectification as a lightweight, scalable, and model-agnostic route to more complete and trustworthy video captioning, with direct relevance to accessibility, retrieval, and other multimedia understanding applications.
• Abstract（参考訳）: ビデオキャプションの品質を改善するには、通常、高価な、しばしば非現実的な要求である大きな視覚言語モデルを再訓練する必要がある。 既存のトレーニングなしの代替手段は、検出されたオブジェクトに接頭辞を付け、幻覚を抑制するが、どのオブジェクトが最も重要かを優先順位付けすることなく、単一の固定された修正パスのみを適用し、意味的に重要な内容が省略される。 本稿では, 空間的塩分, 時間的持続性, およびリレーショナルダイナミクスによる検出対象のランク付けを行う軽量スコアリング機構と, 反復的, 即時リフレクションループを用いて, 欠落した, 文脈的に関係のあるオブジェクトを複数ラウンドのキャプションに段階的に注入する。 提案手法は,MSVD と MSR-VTT のフレームワークを,対象とする自動測定値,110参加型人間実験,ChatGPT と Gemini に対する定性比較を用いて検証し,人間の評価では,認識完全性を最大48%向上し,強い事前学習された字幕ベースラインに対する幻覚を最大45%低減する。 これらの結果は、アクセシビリティ、検索、その他のマルチメディア理解アプリケーションに直接関連し、より完全で信頼性の高いビデオキャプションへの軽量でスケーラブルでモデルに依存しないルートとして、プロミネンス誘導の反復的修正を位置づけている。

関連論文リスト

• PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models [6.947018407173503]
  我々は,凍結VLMに固有のプロンプトフリー物体証拠を生成前に抽出する学習自由フレームワークであるPatchGateを提案する。 AMBERでは、PatchGateはオブジェクトレベルの信頼性の両面を改善し、可視対象のカバレッジを49.4から56.0(+13.4%)に増加させ、CHAIRを7.5から6.6(-12.0%)に下げることでオブジェクト幻覚を減らす。
  論文  参考訳（メタデータ） (2026-08-22T07:37:40Z)
• Beyond Static Anchors: Bounded Prototype Conditioning for Language-Free Medical Anomaly Detection [52.986874008247554]
  本稿では,静的アンカーを入力条件付きビジュアルプロトタイプに置き換える言語フリーフレームワークReCAPを提案する。 ReCAPリセンターは、境界ゲート変調により、各画像の正常と異常なプロトタイプを分離した。 3つのセグメンテーションデータセットで最高のゼロショットレベルのAUROCと、24の複数ショット設定のうち23のゼロショットレベルのAUROCを達成する。
  論文  参考訳（メタデータ） (2026-08-01T04:46:55Z)
• CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
  本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。 本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:09:20Z)
• CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning [23.289413412387223]
  CCCaption: 専用微調整コーパスを備えた双方向逆強化学習フレームワークについて紹介する。 完全性のために、私たちは多様なLVLMを使用して、画像を一連のビジュアルクエリに切り離し、これらのクエリにもっと答えるキャプションに報いる。 正当性については,サブキャプションクエリの正当性を検証することによって,幻覚を含む字幕を罰する。
  論文  参考訳（メタデータ） (2026-02-25T07:34:26Z)
• Seeing Through Words: Controlling Visual Retrieval Quality with Language Models [68.49490036960559]
  本稿では,画像品質の明示的な概念を取り入れつつ,文脈的詳細で短いクエリを充実させる,品質制御可能な検索の新たなパラダイムを提案する。 我々のキーとなる考え方は、生成言語モデルをクエリ補完関数として活用し、未特定クエリを記述形式に拡張することです。 提案手法は,検索結果を大幅に改善し,最新のVLMの表現能力と,短いユーザクエリの未特定特性とのギャップを埋める,効果的な品質管理を提供する。
  論文  参考訳（メタデータ） (2026-02-24T18:20:57Z)
• Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
  LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。 それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。 本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:11:24Z)
• RACap: Relation-Aware Prompting for Lightweight Retrieval-Augmented Image Captioning [8.596137792629529]
  画像キャプションのための関係認識型検索拡張モデルであるRACapを提案する。 RACapは10.8Mのトレーニング可能なパラメータしか持たないが、従来の軽量キャプションモデルに比べて性能が優れている。
  論文  参考訳（メタデータ） (2025-09-19T11:29:42Z)
• OVFact: Measuring and Improving Open-Vocabulary Factuality for Long Caption Models [65.8015696586307]
  長字幕の字幕事実性を測定する新しい方法であるOV-Factを紹介する。 提案手法は,人間の判断との一致を改善し,同じ指標におけるキャプタネス(リコール)と事実精度の両方をキャプチャする。 従来のメトリクスとは異なり、参照不要なメソッド設計は、ファクトリティベースのデータフィルタリングに向けた新しいアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-25T13:38:06Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
  我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。 DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。 DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
  論文  参考訳（メタデータ） (2025-03-10T22:53:56Z)
• PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training [56.172959986096316]
  本稿では,マルチモーダル大規模言語モデル(MLLM)における幻覚の課題を解決することを目的とする。 HalFscoreは言語グラフ上に構築された新しい計量であり、密度の高いキャプションの精度と完全性の両方を粒度レベルで評価するように設計されている。 PerturboLLaVAは、生成されたキャプションの忠実度を著しく改善し、マルチモーダル幻覚に対する既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2025-03-09T07:07:03Z)
• Positive-Augmented Contrastive Learning for Vision-and-Language Evaluation and Training [44.008094698200026]
  PAC-S++はCLIPモデルを利用した学習可能なメトリックであり、Webコンパイルされたデータとクリーンなデータの両方で事前トレーニングされている。 PAC-S++をキャプションモデルの微調整段階に組み込むことで,文の繰り返しや文法的誤りが少なく,意味的に豊かなキャプションが得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T18:00:09Z)
• Mitigating Open-Vocabulary Caption Hallucinations [33.960405731583656]
  オープン語彙設定における画像キャプションにおける幻覚に対処する枠組みを提案する。 我々のフレームワークには、生成基盤モデルを利用してオープン語彙オブジェクト幻覚を評価する新しいベンチマークであるOpenCHAIRが含まれている。 閉じたオブジェクトリストを使わずにオープン語彙の幻覚を緩和するために,MOCHaを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。