論文の概要: Pre-Decoding Acoustic Triage for Budgeted Vision-Language Captioning of Untrimmed Egocentric Video
- arxiv url: http://arxiv.org/abs/2608.22359v1
- Date: Sun, 23 Aug 2026 10:51:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.73011
- Title: Pre-Decoding Acoustic Triage for Budgeted Vision-Language Captioning of Untrimmed Egocentric Video
- Title（参考訳）: 未編集エゴセントリックビデオの予算化ビジョンランゲージキャプションのためのプリデコード音響トリアージ
- Abstract要約: ビデオフレームがデコードされる前に、最も軽量なモーダリティを用いてウィンドウを選択することで、トークン圧縮や量子化を自然に構成する。
利用可能な通話の半数未満を使用することで、EPIC VLMコールの9-20%をEgo4Dの247クリップでカバーし、2つのビジュアルセレクタを上回っている。
- 参考スコア（独自算出の注目度）: 1.0741950383734087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatically analyzing hours-long egocentric video is increasingly essential for progress monitoring, quality control, and safety in logistics, construction, and manufacturing. Yet current pipelines that process short, fixed-size windows with a vision-language model (VLM) are prohibitively expensive because cost scales with the number of model calls. To reduce this cost, prior work proposes triage policies to select which windows merit a VLM invocation. However, these policies either sample uniformly or rank windows using visual features, which ironically requires the video decoding that the budget constraints are meant to avoid. We propose audio-first triage: select windows using the lightest modality, scored before any video frame is decoded, so the approach composes naturally with token compression or quantization. The novelty lies in the objective, not the representation: rather than a per-frame sound-event detector, we train the selector to trigger once per action. This objective shift improves action coverage by 4.0-10.8 percentage points across all evaluated call rates, using frozen AudioSet-pretrained features without domain-specific sound-event labels. Using fewer than half of the available calls, the triage cuts 9-20% of VLM calls at matched coverage on EPIC-KITCHENS-100 (EK-100), surpasses uniform sampling through the mid-range on Ego4D over 247 clips, and outperforms two recent visual keyframe selectors. Code, the reference implementation and every results file this manuscript reads are at https://github.com/masjalayer/PreDecoding-AcousticTriage.
- Abstract（参考訳）: 物流、建設、製造における進捗監視、品質管理、安全のために、時間軸ビデオの自動解析がますます不可欠になっている。
しかし、視覚言語モデル(VLM)で短い固定サイズのウィンドウを処理する現在のパイプラインは、モデル呼び出しの数に応じてコストがスケールするため、極めて高価である。
このコストを削減するために、事前の作業では、VLM呼び出しのどのウィンドウにメリットがあるかを選択するトリアージポリシーが提案されている。
しかし、これらのポリシーは、一様にサンプリングするか、視覚的特徴を使ってウィンドウをランク付けするかのいずれかであり、皮肉なことに予算制約を回避するためにビデオデコードが必要である。
ビデオフレームがデコードされる前に、最も軽量なモーダリティを用いてウィンドウを選択することで、トークン圧縮や量子化を自然に構成する。
フレームごとの音響検出ではなく、セレクタを訓練して、アクション毎に1回トリガーするようにします。
この目標シフトは、ドメイン固有のサウンドエフェクトラベルを使わずに、凍結したAudioSet-pretrained機能を使用して、すべての評価されたコールレートに対して、アクションカバレッジを4.0-10.8ポイント改善する。
利用可能な通話の半数以下を使用して、EPIC-KITCHENS-100(EK-100)で一致したカバレッジでVLMコールの9-20%をカットし、Ego4Dで247回以上もサンプリングし、2つのビジュアルキーフレームセレクタを上回った。
コード、参照実装、この原稿が読むすべての結果ファイルはhttps://github.com/masjalayer/PreDecoding-AcousticTriageにある。
関連論文リスト
- From Visual Cues to Spoken Narration: Rethinking Audio Description [56.77584893970582]
Cue2Narrateは2段階のパイプラインで、長い動画クリップで何といつナレーションするかを共同で予測する。
デュアルヘッド音声視覚ローカライザは、AD発話毎に2つの時間的に異なるウィンドウを予測する。
ロラ適応VLMは予測された視覚的証拠から簡潔なADを生成する。
論文 参考訳（メタデータ） (2026-09-01T18:00:50Z) - Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs [13.179456385239481]
A-Packは、クエリ条件のマルチモーダルインタラクションが出現するまで、オーディオプルーニングを無効にするフレームワークである。
A-Packは評価済みのメソッドの中で最も高い平均性能を達成する。
FLOPを最大78%削減し、復号スループットを最大2.21倍改善する。
論文 参考訳（メタデータ） (2026-08-09T16:18:41Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - Visual Timelines of Police Encounters in Body-Worn Camera Footage: Operational Context and Activity Cataloging for Training and Analysis in OpenBWC [4.246509410711165]
法執行機関は、大量のボディウーンカメラ(BWC)の映像を蓄積している。
本稿では,BWC動画を10秒間の固定長ウィンドウの時系列に処理する方法を提案する。
私たちは、CLIPモデルを用いてエンコードされ、ウィンドウレベルの表現に集約された各ウィンドウからサンプリングされたフレームを使用して、2つの軸に基づいてウィンドウを分類するモデルを訓練する。
論文 参考訳（メタデータ） (2026-05-16T17:45:10Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。
現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。
多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
論文 参考訳（メタデータ） (2026-02-13T18:57:31Z) - PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。
提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。
LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
論文 参考訳（メタデータ） (2026-02-04T15:33:10Z) - SoundReactor: Frame-level Online Video-to-Audio Generation [39.113214321291586]
Video-to-Audio生成モデルは、ビデオシーケンス全体やフレームのチャンクが事前に用意されていることを前提として、オフラインで動作する。
本稿では,フレームレベルのオンラインV2A生成の新たな課題を紹介する。
SoundReactorは、このタスク用に明示的に調整された、最初のシンプルで効果的なフレームワークである。
論文 参考訳（メタデータ） (2025-10-02T15:18:00Z) - Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation [37.91678426119673]
既存の手法は2つの根本的な問題から生じる視覚バイアスに悩まされている。一様加法融合は、クエリが異なる音源に特化することを防ぎ、視覚のみの訓練目的は、クエリが任意の有意なオブジェクトに収束することを許している。
クロスアテンションを用いた音声中心クエリ生成を提案し、各クエリは異なる音源に選択的に参加し、音声固有の先行情報を視覚的復号化することができる。
論文 参考訳（メタデータ） (2025-09-26T02:31:17Z) - Vision Transformers are Parameter-Efficient Audio-Visual Learners [95.59258503297195]
本稿では、事前学習したVTをオーディオ視覚タスクに適応させる潜在型オーディオ視覚ハイブリッド(LAVISH)アダプタを提案する。
提案手法は,様々な視覚的タスクにおいて,競争力や性能の向上を実現する。
論文 参考訳（メタデータ） (2022-12-15T17:31:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。