論文の概要: Where Do We (Not) Need Temporal Context in Low-Resource Video Task Adaptation?
- arxiv url: http://arxiv.org/abs/2606.03837v1
- Date: Tue, 02 Jun 2026 16:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.150779
- Title: Where Do We (Not) Need Temporal Context in Low-Resource Video Task Adaptation?
- Title（参考訳）: 低リソースのビデオタスク適応に時間的コンテキストは必要か?
- Authors: Luc P. J. Sträter, Hazel Doughty,
- Abstract要約: ビデオ理解のためのモデル適応戦略を体系的に研究する。
我々は、外見に焦点をあて、動きに焦点をあて、空間的に密接な設定を行う方法を評価する。
- 参考スコア（独自算出の注目度）: 13.939023719975802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) and probing enable adaptation of foundation models using only a small number of trainable parameters, making it attractive for video understanding where annotation and computation are expensive. However, video PEFT has focused on adapting image-pretrained models, while standard PEFT methods can also be applied to video representations. These settings are rarely compared and both confine temporal reasoning to a single component of the model, leaving open how temporal context should be distributed across backbone, PEFT and probe. In this work we provide a systematic study of model adaptation strategies for video understanding. We evaluate methods across appearance-focused, motion-focused and spatially dense settings, with a particular focus on scenarios with limited data where parameter-efficiency is most beneficial. Our results provide new insights into PEFT and probing across settings and demonstrate the importance of temporal context allocation for effective video adaptation
- Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)と探索は,少数のトレーニング可能なパラメータのみを用いて基礎モデルの適応を可能にする。
しかし,ビデオPEFTでは,ビデオ表現にも標準PEFT法を適用することができる。
これらの設定はめったに比較されず、どちらも時間的推論をモデルの1つのコンポーネントに限定し、時間的コンテキストをバックボーン、PEFT、プローブに分散する方法をオープンにしておく。
本研究では,映像理解のためのモデル適応戦略の体系的研究を行う。
パラメータ効率が最も有用である限られたデータを持つシナリオに特に焦点をあてて、外見に焦点をあて、動きに焦点をあて、空間的に密接な設定を行う手法を評価する。
この結果から,PEFTと設定間の探索に関する新たな知見が得られ,効果的な映像適応のための時間的コンテキストアロケーションの重要性が示された。
関連論文リスト
- Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。
提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2025-10-04T21:48:40Z) - FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。
この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。
Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。
従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
論文 参考訳（メタデータ） (2025-09-28T17:59:43Z) - Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。
TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。
LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
論文 参考訳（メタデータ） (2025-01-23T18:58:03Z) - Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。
時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
論文 参考訳（メタデータ） (2024-11-26T09:28:32Z) - RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。
現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。
パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
論文 参考訳（メタデータ） (2024-05-29T19:23:53Z) - Parameter-Efficient Image-to-Video Transfer Learning [66.82811235484607]
様々な下流タスクのための大規模な事前訓練されたモデルが、最近、有望なパフォーマンスで登場した。
モデルのサイズが拡大しているため、モデルトレーニングや記憶の面では、標準のフルチューニングベースのタスク適応戦略がコストがかかる。
本稿では,ビデオタスク毎のパラメータ効率の高い微調整のための新しいスペーシ・アダプタを提案する。
論文 参考訳（メタデータ） (2022-06-27T18:02:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。