論文の概要: GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
- arxiv url: http://arxiv.org/abs/2610.00196v1
- Date: Fri, 18 Sep 2026 19:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.393689
- Title: GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
- Title（参考訳）: GPEC: 心ビデオキャプション生成のための補正を組み込んだ効率的なプリLLMガウスプロセス
- Abstract要約: 本研究は,VoiceChat2が心エコーキャプション生成に用いた視覚的表現を改善する,モジュール式で計算効率のよいプリLLM誤差補正手法を提案する。
GPECは、視覚投影層と言語モデルの間に挿入され、投影された視覚表現をアノテーション誘導対象に向かって移動させる残差補正を学習する。
提案手法を適用した結果,キャプションの類似性や内容のアライメントが向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) have shown strong potential for video understanding and caption generation, but their performance may decline in specialized medical imaging domains such as echocardiography. This work introduces Gaussian Process Embedding Correction (GPEC), a modular and computationally efficient pre-LLM error-correction method that improves the visual representations used by VideoChat2 for cardiac ultrasound caption generation. GPEC is inserted between the visual projection layer and the language model and learns a residual correction that moves the projected visual representation toward an annotation-guided target. The target is constructed by converting structured video annotations into qualitative attributes, generating a fixed-format reference caption, and mapping it into the language-model embedding space. The correction is modeled using a sparse variational Gaussian Process with inducing points, natural-parameter variational updates, and a block-wise linear kernel, while the original VideoChat2 components remain frozen.The method is evaluated using representation-level, caption-level, content-oriented, and execution-time metrics by comparing the original VideoChat2 with VideoChat2 + GPEC under identical input and reference conditions. Results show improved caption similarity and content alignment after applying the proposed correction. Furthermore, GPEC adds less than 0.05 s of inference-time overhead per video in the evaluated setting. These findings indicate that GPEC can improve caption generation in specialized medical video domains with minimal computational cost, without requiring end-to-end fine-tuning of the pretrained multimodal backbone.
- Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は, ビデオ理解とキャプション生成の可能性を強く示している。
本研究は,心エコーキャプション生成にVideoChat2が使用する視覚的表現を改善するモジュール式で計算効率のよいプリLLM誤差補正法であるGaussian Process Embedding Correction (GPEC)を紹介する。
GPECは、視覚投影層と言語モデルの間に挿入され、投影された視覚表現をアノテーション誘導対象に向かって移動させる残差補正を学習する。
構造化されたビデオアノテーションを定性的属性に変換し、固定形式参照キャプションを生成し、言語モデル埋め込み空間にマッピングすることで、ターゲットを構築する。
本手法は,ビデオチャット2とビデオチャット2+GPECを同一の入力・参照条件下で比較することにより,表現レベル,キャプションレベル,コンテンツ指向,実行時間の測定値を用いて評価する。
提案手法を適用した結果,キャプションの類似性や内容のアライメントが向上した。
さらに、GPECは、評価された設定において、ビデオあたりの推測時間オーバーヘッドを0.05秒未満追加する。
これらの結果から,GPECは,予め訓練したマルチモーダルバックボーンのエンドツーエンドの微調整を必要とせず,計算コストを最小限に抑えながら,特殊な医用ビデオ領域のキャプション生成を改善できることが示唆された。
関連論文リスト
- Video Captioning in Low-Light Conditions through Efficient Uncertainty-Aware Caption Correction [0.0]
低照度条件は、映像中の人間の行動を正確に記述する視覚言語モデルの能力を著しく低下させる可能性がある。
実世界の低照度環境下でビデオチャット2が生成するキャプションを改善するための効率的な不確実性認識表現補正フレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-18T19:56:20Z) - MLLM-Guided Semantic Correction for Text-to-Video Generation [66.7723669725808]
マルチモーダルな大規模言語モデルフィードバックを統合した,トレーニングフリーで解釈可能な中間世代補正フレームワークを提案する。
セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) とセマンティック・アセスメント・アシスタント (Semantic Modification Assistant) という,セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) の2つの重要なモジュールを提案する。
本手法は, モデルパラメータを変更することなく, セマンティックアライメント, 視覚的忠実度, 時間的一貫性を改善する。
論文 参考訳（メタデータ） (2026-08-17T12:54:10Z) - Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。
凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
論文 参考訳（メタデータ） (2026-05-14T15:50:25Z) - STGV: Spatio-Temporal Hash Encoding for Gaussian-based Video Representation [44.219307092626046]
2DGSは最近、高品質なビデオ表現のための有望なパラダイムになっている。
本稿では,ガウス・テンポラルビデオ表現(STGV)のためのフレームワークを提案する。
提案手法は,ガウス方式の他の手法に対して,より優れた映像表現品質(+PSN)を実現し,下流映像タスクにおける競争性能を実現する。
論文 参考訳（メタデータ） (2026-04-13T02:23:51Z) - VideoHEDGE: Entropy-Based Hallucination Detection for Video-VLMs via Semantic Clustering and Spatiotemporal Perturbations [4.509454543418357]
ビデオ対応視覚モデル (VideoVLMs) の幻覚は、今も頻繁かつ高信頼である。
質問応答における幻覚検出のためのモジュラーフレームワークであるVideoHedGEを紹介する。
論文 参考訳（メタデータ） (2026-01-13T13:42:05Z) - Content Adaptive based Motion Alignment Framework for Learned Video Compression [72.13599533975413]
本稿では,コンテンツ適応型モーションアライメントフレームワークを提案する。
まず、粗いオフセット予測とマスク変調により動き補償を洗練させる2段階の流動誘導変形防止機構を導入する。
第2に,基準品質に基づいて歪み重みを調整するマルチ参照品質認識戦略を提案する。
第3に,スムーズな動き推定を得るために,フレームを大きさと解像度でダウンサンプルするトレーニングフリーモジュールを統合する。
論文 参考訳（メタデータ） (2025-12-15T02:51:47Z) - TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation [51.56484100374058]
本稿では,効率的なRGBビデオのための革新的なビデオ理解ブロック(GVB)を提案する。
Mamの構造に基づいて、2D-CNNと3D-CNNを統合し、分析のためのビデオ理解を強化する。
実験により、我々のTYrは一般的に使用されるデータセットで最先端のパフォーマンスを達成できることが示された。
論文 参考訳（メタデータ） (2025-11-08T03:46:58Z) - FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。
本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
論文 参考訳（メタデータ） (2025-06-20T07:46:40Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳（メタデータ） (2025-06-01T13:28:04Z) - p-Laplacian Adaptation for Generative Pre-trained Vision-Language Models [10.713680139939354]
大きなコーパスで事前訓練された視覚言語モデル(VLM)は、下流のタスクで顕著な成功を収めている。
PETLはフル微調整の代替として注目されている。
グラフニューラルネットワーク(GNN)において,$p$-Laplacianメッセージパッシングを利用する新しいアダプタアーキテクチャである$p$-adapterを提案する。
論文 参考訳（メタデータ） (2023-12-17T05:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。