論文の概要: Video Captioning in Low-Light Conditions through Efficient Uncertainty-Aware Caption Correction

• arxiv url: http://arxiv.org/abs/2609.31697v1
• Date: Fri, 18 Sep 2026 19:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:40:30.333131
• Title: Video Captioning in Low-Light Conditions through Efficient Uncertainty-Aware Caption Correction
• Title（参考訳）: 高精度不確かさ認識キャプション補正による低照度映像のキャプション
• Abstract要約: 低照度条件は、映像中の人間の行動を正確に記述する視覚言語モデルの能力を著しく低下させる可能性がある。 実世界の低照度環境下でビデオチャット2が生成するキャプションを改善するための効率的な不確実性認識表現補正フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-light conditions can significantly degrade the ability of vision-language models (VLMs) to accurately describe human actions in videos. In this work, I propose an efficient uncertainty-aware representation correction framework for improving captions generated by VideoChat2 under real-world low-light conditions. Instead of fine-tuning the underlying VLM, the proposed framework introduces a lightweight sparse Gaussian process-based error estimation module between the projection layer and the language model to correct the intermediate representation. The correction module learns to estimate the residual between the original projected representation and a verified target representation, which is then adaptively scaled using a newly formulated uncertainty-aware coefficient and added to the original representation. To further improve residual estimation, I introduce a partitioned combined-kernel design. The correction model is trained separately using only 44 samples from the ARID dataset and requires only a small additional computational overhead during inference. The effectiveness of the proposed correction is evaluated through quantitative residual prediction and qualitative analysis of the generated captions. Although VideoChat2 is used in my experiments, the proposed framework is designed to be applicable to other compatible VLM architectures. \textbf{Code Availability: The implementation accompanying this work is publicly available at}:\href{https://github.com/areferezaee/Low-rank-SVGP-NP-update}{https://github.com/areferezaee/Low-rank-SVGP-NP-update}
• Abstract（参考訳）: 低照度条件は、ビデオ中の人間の行動を正確に記述する視覚言語モデル(VLM)の能力を著しく低下させる可能性がある。 本研究では,実世界の低照度環境下でビデオチャット2が生成するキャプションを改善するための,効率的な不確実性を考慮した表現補正フレームワークを提案する。 提案フレームワークは,基礎となるVLMを微調整する代わりに,プロジェクション層と言語モデルの間に,軽量なガウス的プロセスに基づく誤り推定モジュールを導入し,中間表現を補正する。 補正モジュールは、元の投影表現と検証対象表現との残差を推定し、新たに定式化された不確実性認識係数を用いて適応的にスケールし、元の表現に追加する。 残差推定をさらに改善するために、分割された複合カーネル設計を導入する。 補正モデルは、ARIDデータセットからの44のサンプルのみを使用して個別にトレーニングされ、推論中にわずかに計算オーバーヘッドを必要とする。 提案手法の有効性は, 生成したキャプションの定量的残差予測と定性解析により評価する。 VideoChat2は私の実験で使われているが、提案されたフレームワークは、他の互換性のあるVLMアーキテクチャに適用できるように設計されている。 https://github.com/areferezaee/Low-rank-SVGP-NP-update}{https://github.com/areferezaee/Low-rank-SVGP-NP-update}

関連論文リスト

• GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation [0.0]
  本研究は,VoiceChat2が心エコーキャプション生成に用いた視覚的表現を改善する,モジュール式で計算効率のよいプリLLM誤差補正手法を提案する。 GPECは、視覚投影層と言語モデルの間に挿入され、投影された視覚表現をアノテーション誘導対象に向かって移動させる残差補正を学習する。 提案手法を適用した結果,キャプションの類似性や内容のアライメントが向上した。
  論文  参考訳（メタデータ） (2026-09-18T19:52:05Z)
• Localized Conformal Prediction for Image Classification with Vision-Language Models [5.212510010425201]
  テスト時間とキャリブレーションの視覚的特徴のコサイン類似性は局所的でないベースラインよりも改善するには不十分である。 本稿では,余弦的類似性の単純な非線形変換を提案する。これは限界被覆保証を保存し,統計的に有意な平均セットサイズ削減を実現する。
  論文  参考訳（メタデータ） (2026-06-30T12:34:40Z)
• TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition [35.164192530400356]
  既存の研究は、微調整データ分布を超えた表現の偏りを見落としていると論じる。 この不整合によって引き起こされる潜在的な負の効果を軽減するためのフレームワークであるemphTACOを紹介する。
  論文  参考訳（メタデータ） (2026-06-24T07:06:12Z)
• Employing Vision-Language Models for Face Image Quality Assessment [0.023141219541346198]
  顔画像品質評価(FIQA)はバイオメトリックパイプラインにおいて重要な制御ステップである。 最先端のFIQA法は高い実用性を達成するが、通常「ブラックボックス」として機能する ゼロショット環境でFIQAを実行することにより,このギャップを埋めるため,市販のビジョンランゲージモデル(VLM)の可能性を検討する。
  論文  参考訳（メタデータ） (2026-05-17T14:57:52Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
  生成したチャートキャプションに事実誤りを包括的に分類する。 大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。 分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
  論文  参考訳（メタデータ） (2023-12-15T19:16:21Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。