論文の概要: Modernising the Compressed-Domain Video Captioner: A Controlled Study of SigLIP2 and GPT-2 Substitutions
- arxiv url: http://arxiv.org/abs/2609.31700v1
- Date: Sat, 19 Sep 2026 06:49:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 13:39:22.160862
- Title: Modernising the Compressed-Domain Video Captioner: A Controlled Study of SigLIP2 and GPT-2 Substitutions
- Title（参考訳）: 圧縮領域ビデオキャピタの近代化:SigLIP2およびGPT-2置換体の制御に関する研究
- Abstract要約: 圧縮ドメインビデオキャプションは、Iフレーム、モーションベクトル、残差を直接操作することで、完全なビデオデコーディングを避ける。
CoCapはこのパイプラインをCLIPビジョンエンコーダと浅いBERTスタイルのマルチモーダルデコーダを使って確立した。
我々は、CLIP IフレームエンコーダをSigLIP2に、BERTスタイルデコーダをGPT-2に置き換える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compressed-domain video captioning avoids full video decoding by operating directly on I-frames, motion vectors and residuals, trading a small amount of accuracy for a large gain in inference speed. CoCap established this pipeline using a CLIP vision encoder and a shallow BERT-style multimodal decoder. Both components predate substantially stronger alternatives. We ask a narrow, controlled question: how much of CoCap's accuracy is limited by these two components, and which of the two is the binding constraint? We replace the CLIP I-frame encoder with SigLIP2 and the BERT-style decoder with GPT-2, and evaluate three configurations (the original pairing, the encoder substitution alone, and both substitutions together) under identical data, sampling budget and optimisation schedule. All comparisons are made against our own reproduction of CoCap rather than its published numbers, because we train on a 4,999-clip subset of VATEX at a reduced sampling budget; absolute values are therefore not comparable with the original work. Our reproduction tracks the published result closely: CIDEr and METEOR run slightly above it (54.9 against 52.7; 23.4 against 23.2), BLEU-4 and ROUGE-L slightly below (29.7 against 31.4; 48.9 against 49.4). We attribute the differences to our evaluation subset rather than to any improvement in either direction. We find the two substitutions pull in opposite directions: SigLIP2 alone improves every metric (+4.5 CIDEr), while adding GPT-2 on top erodes that gain, because a pretrained decoder overfits 4,999 clips within two epochs. We additionally report inference latency for each configuration, since speed is the property that motivates compressed-domain captioning in the first place, and an accuracy gain purchased at a latency cost should be reported as such.
- Abstract（参考訳）: 圧縮ドメインビデオキャプションは、Iフレーム、モーションベクトル、残差を直接操作することで完全なビデオデコーディングを回避し、推論速度の大きな向上のために少量の精度を取引する。
CoCapはこのパイプラインをCLIPビジョンエンコーダと浅いBERTスタイルのマルチモーダルデコーダを使って確立した。
どちらの部品も、かなり強力な代替品を前にしている。
これら2つのコンポーネントによって、CoCapの精度のどれが制限され、どれがバインディング制約であるのか?
我々は、CLIP I-frame encoderをSigLIP2とBERTスタイルのdecoderをGPT-2に置き換え、同じデータの下で3つの構成(元のペアリング、エンコーダ置換のみ、および両方の置換)をサンプリング予算と最適化スケジュールで評価する。
なぜなら、VATEXの4,999クリックのサブセットをサンプリング予算の削減でトレーニングするためです。
CIDErとMETEORは、その少し上(54.9対52.7; 23.4対23.2)、BLEU-4とROUGE-Lはわずか下(29.7対31.4; 48.9対49.4)である。
どちらの方向でも改善されるのではなく、評価サブセットの違いによるものです。
SigLIP2だけですべてのメートル法(+4.5 CIDEr)が改善され、事前訓練されたデコーダが2つのエポックで4,999個のクリップをオーバーフィットするため、上位のエローダにGPT-2を追加する。
また、まず圧縮されたドメインキャプションを動機付ける特性が速度であるため、各構成の推論遅延を報告し、遅延コストで購入した精度向上を報告すべきである。
関連論文リスト
- Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs [43.01574038234673]
層ごとの差分プライバシー(DP)クリッピングは、パラメータ数に比例した行列ごとのクリッピング予算を割り当てることで、フェデレートラーニングにおける勾配忠実度を向上させる。
このレシピは音声大言語モデル(音声-LLM)において,音声エンコーダと言語デコーダが更新ノルムの桁違いに異なる場合に破られることを示す。
論文 参考訳（メタデータ） (2026-09-10T16:17:19Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳（メタデータ） (2026-08-27T17:26:24Z) - Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。
各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。
エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
論文 参考訳（メタデータ） (2026-06-02T16:46:42Z) - Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation [52.19855651708349]
我々は,デコーダのみの大規模言語モデルをエンコーダ-デコーダモデルに適応させるという,新しい問題を研究する。
適応はデコーダのみのLLMの能力を継承するだけでなく、計算の需要を減らすことができると主張している。
同様の推論予算の下では、エンコーダ-デコーダ LLM は(しばしばより優れた)事前訓練性能を達成できるが、デコーダのみの性能よりもはるかに優れた微調整性能が得られる。
論文 参考訳（メタデータ） (2025-04-08T17:13:41Z) - Extreme Encoder Output Frame Rate Reduction: Improving Computational
Latencies of Large End-to-End Models [59.57732929473519]
エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。
入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
論文 参考訳（メタデータ） (2024-02-27T03:40:44Z) - Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。
本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
論文 参考訳（メタデータ） (2024-01-30T11:40:24Z) - Belief propagation as a partial decoder [0.0]
本稿では,デコードサイクルを高速化し,精度を向上する2段デコーダを提案する。
第一段階では、信念伝播に基づく部分復号器を用いて、高い確率で発生した誤りを訂正する。
第2段階では、従来のデコーダが残したエラーを補正する。
論文 参考訳（メタデータ） (2023-06-29T17:44:20Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳（メタデータ） (2023-03-31T23:30:48Z) - Pruned Lightweight Encoders for Computer Vision [0.0]
ASTC と JPEG XS の符号化構成は、低レイテンシを確保するために、近接センサエッジデバイスで使用できることを示す。
ASTC圧縮によるmIoU(mIoU)劣化の分類精度とセグメンテーション平均値は,それぞれ4.9-5.0ポイント(pp)と4.4-4.0ppに低下した。
符号化速度の面では、ASTCエンコーダの実装はJPEGよりも2.3倍高速である。
論文 参考訳（メタデータ） (2022-11-23T17:11:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。