論文の概要: EARS: Evidence-Aware Retrieval via Sound and Motion for Budgeted Video Reasoning

• arxiv url: http://arxiv.org/abs/2610.35536v1
• Date: Mon, 26 Oct 2026 14:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.03756
• Title: EARS: Evidence-Aware Retrieval via Sound and Motion for Budgeted Video Reasoning
• Title（参考訳）: EARS:予算ビデオ再生のための音と動きによる証拠認識検索
• Abstract要約: 学習不要でクエリフリーなフロントエンドであるEARS(Evidence-Aware Retrieval via Sound and Motion)を提案する。 光フロー運動とオーディオエネルギーを用いてフレームをランク付けし、多様性に対して時間的非最大抑圧を適用する。
• 参考スコア（独自算出の注目度）: 1.1947714868715738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uniform frame sampling can miss brief evidence in sparse-event videos when the VLM sees only K frames. We propose EARS (Evidence-Aware Retrieval via Sound and motion), a training-free, query-free front-end that ranks frames using optical-flow motion and audio energy, then applies temporal non-maximum suppression for diversity. The evidence score alone has frame-level AP 0.39; used only to select frames for the VLM, EARS with temporal diversity reaches localization AP 0.94, compared with 0.88 under Uniform sampling. In the updated matched study, at K = 1 EARS reaches XD-subset F1 0.660 versus 0.614 for centered Uniform (the paired interval includes zero); earlier backbone studies use separate protocols. On mostly-silent UCF-Crime, however, EARS slightly trails Uniform. A single configuration is used across both benchmarks; the new controls do not repeat the original held-out search. EARS therefore targets low-budget videos whose salient evidence aligns with motion or audio; on dense narratives or stealthy events, uniform or semantic selection remains preferable, and cheap modality statistics cannot reliably route between them. Code: https://github.com/mikeslin-ir/EARS
• Abstract（参考訳）: 均一なフレームサンプリングは、VLMがKフレームだけを見るとき、スパースイベントビデオの短い証拠を見逃す可能性がある。 光フロー運動とオーディオエネルギーを用いてフレームをランク付けする学習自由でクエリフリーなフロントエンドEARS(Evidence-Aware Retrieval via Sound and Motion)を提案する。 このエビデンススコアだけではフレームレベルAP 0.39を持ち、VLMのフレームのみに使われ、時間的多様性を持つEARSはAP 0.94に到達し、Uniform サンプリングでは 0.88 となる。 K = 1 EARS が XD-subset F1 0.660 となるのに対して、中心のUniform は 0.614 となる(ペアの間隔は 0 を含む)。 しかし、ほとんどサイレントなUCF-Crimeでは、EARSはUniformをわずかに追っている。 両方のベンチマークで単一の設定が使用されるが、新しいコントロールは元のホールドアウト検索を繰り返すことはない。 したがってEARSは、静かな証拠が動きや音声と一致している低予算の動画をターゲットとしており、密集した物語やステルスな出来事では、均一またはセマンティックな選択が望ましいままであり、安価なモダリティ統計はそれらを確実に行き来することはできない。 コード:https://github.com/mikeslin-ir/EARS

関連論文リスト

• Less from More: Reinforcing Sparse Video Reasoning from Dense References [54.08422547695236]
  SAVERは、密集したビデオビューをスパースフレーム推論のトレーニング時間参照として使用する、密集した訓練後のフレームワークである。 私たちは、SAVERがフレーム予算をまたいだパフォーマンスを継続的に改善していることを示します。 これらの結果から, 時間的グラウンドディングは, スパースビデオ推論の学習に有効なエビデンス・ローカライゼーション・プロキシとして有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-10-07T20:51:59Z)
• OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators [68.69611976783243]
  OPSD-Vは、数ステップの自己回帰(AR)ビデオ拡散モデルの訓練後の自己蒸留パラダイムである。 鍵となるアイデアは、トレーニング中の時間的文脈として実際の長時間ビデオデータを導入し、それを高密度な軌跡レベルの監視に使用することである。 実験では、視覚的品質、運動力学、VBenchLongスコアが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-07-09T17:59:11Z)
• TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation [2.3450855956637913]
  マルチビデオイベント推論のためのエビデンス基盤フレームワークであるTRACEを紹介する。 提案手法はまず,OCRとオブジェクト検出を用いて,ビデオ毎に構造化されたテキスト検索可能なタイムラインを構築する。 テキストのみのLLMはクエリ対応のエビデンスローカライゼーションを実行し、ダウンストリームの視覚的推論に先立って関連するモーメントを選択する。
  論文  参考訳（メタデータ） (2026-05-16T01:37:10Z)
• GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids [0.3624700141426058]
  VLM(Vision-Language Models)は強力なオープンセット推論器であるが、ビデオ監視における異常検出として直接使用されるのは脆弱である。 問題はVLM自身ではなく、どのように使われているかだ、と我々は主張する。 画素レベルの異常マスクを生成するトレーニングフリーパイプラインであるGridVADにおいて、この提案-代用原理をインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-26T14:08:41Z)
• Can You Hear, Localize, and Segment Continually? An Exemplar-Free Continual Learning Benchmark for Audio-Visual Segmentation [9.480328219158254]
  現実の環境は本質的に動的であり、オーディオや視覚的な分布は時間とともに進化する。 単一ソースとマルチソースのAVSデータセットにまたがる4つの学習プロトコルを含む,Audio-Visualの最初の連続学習ベンチマークを紹介する。 低ランクアンコリング (LRA) を導入し, 損失感度に基づいて適応重量を安定化させることにより, 破滅的忘れを緩和する。
  論文  参考訳（メタデータ） (2026-03-09T21:58:14Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)
• Learning Temporally Consistent Video Depth from Video Diffusion Priors [62.36887303063542]
  本研究は,ストリーム映像深度推定の課題に対処する。 フレームやクリップ間でコンテキスト情報を共有することは、時間的一貫性を育む上で重要である、と我々は主張する。 本稿では,任意の長さの動画に対して一貫したコンテキスト認識学習と推論戦略を提案し,クロスクリップなコンテキストを提供する。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• OCSampler: Compressing Videos to One Clip with Single-step Sampling [82.0417131211353]
  本稿では,OCSampler というフレームワークを提案する。 我々の基本的な動機は、効率的なビデオ認識タスクは、フレームをシーケンシャルに拾うのではなく、シーケンス全体を一度に処理することにある。
  論文  参考訳（メタデータ） (2022-01-12T09:50:38Z)
• Sparse Black-box Video Attack with Reinforcement Learning [14.624074868199287]
  ブラックボックスビデオ攻撃を強化学習フレームワークに定式化する。 RLの環境を認識モデルとし、RLのエージェントがフレーム選択の役割を果たす。 我々は2つの主流ビデオ認識モデルを用いて一連の実験を行う。
  論文  参考訳（メタデータ） (2020-01-11T14:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。