論文の概要: Multimodal Concert Video Editing: System Design and Exploratory Evaluation
- arxiv url: http://arxiv.org/abs/2610.35816v1
- Date: Mon, 26 Oct 2026 17:43:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.130235
- Title: Multimodal Concert Video Editing: System Design and Exploratory Evaluation
- Title（参考訳）: マルチモーダルコンサート映像編集:システム設計と探索的評価
- Abstract要約: マルチトラック・オーディオ、可視楽器、画像のシャープネスからの楽器活動とビート・ベースのタイミングと確率カメラの選択を組み合わせたモジュラー・フレームワークを提案する。
解釈可能なスコアリングモデルは、これらのコンポーネントを完全なショットインターバルにおけるビューの選択にリンクする。
- 参考スコア（独自算出の注目度）: 1.0262304700896199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Editing multi-camera concerts requires coordinated decisions about musical relevance, visual quality and cut timing. We present a modular framework that combines instrument activity from multitrack audio, visible instruments and image sharpness with beat-based timing and probabilistic camera selection. An interpretable scoring model links these components to the choice of views over complete shot intervals. Component tests and an exploratory expert study on a four-camera concert yield mixed assessments across the editing variants. The findings motivate extending local audiovisual relevance with contextual and sequence-level criteria. The architecture provides a basis for testing these extensions and studying how component behaviour affects the quality of complete edits.
- Abstract（参考訳）: マルチカメラコンサートの編集には、音楽的関連性、視覚的品質、カットタイミングに関する協調的な決定が必要である。
マルチトラック・オーディオ、可視楽器、画像のシャープネスからの楽器活動とビート・ベースのタイミングと確率カメラの選択を組み合わせたモジュラー・フレームワークを提案する。
解釈可能なスコアリングモデルは、これらのコンポーネントを完全なショットインターバルにおけるビューの選択にリンクする。
コンポーネントテストと4カメラのコンサートに関する探索的専門家による研究により、編集版間での混合評価が得られた。
本研究の動機は,局所的な視覚的関係を文脈的基準とシーケンス的基準で拡張することである。
このアーキテクチャは、これらの拡張をテストする基盤を提供し、コンポーネントの振る舞いが完全な編集の品質にどのように影響するかを研究する。
関連論文リスト
- OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities [38.02927226790559]
145のキュレートされたビデオ、196のオーディオと視覚を結合した編集命令、2688のきめ細かいチェックリスト項目を備えた総合的なベンチマークであるAVE-を紹介した。
チェックリストに基づくMLLM判定と専用のリアリズムを通じて、インテントのインストラクションフォロー、フィデリティ保存、リアリズム、編集を評価し、自動化されたクロスモーダル、ビデオ、オーディオメトリクスで補完する。
AVE-Agentは、複雑な命令を依存サブタスクに分解し、自己回帰とフィードバックによる編集結果を反復的に改善するモジュラー評価フレームワークである。
論文 参考訳（メタデータ） (2026-07-17T12:40:13Z) - DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing [17.53577850169204]
ビデオマッシュアップ作成は、既存の映像を再構成して、魅力的なオーディオ視覚体験を作り出す複雑なビデオ編集パラダイムである。
マルチモーダルコヒーレンシー満足度問題(MMCSP)としてビデオマッシュアップ生成を定式化し,DIRECTフレームワークを提案する。
階層的なマルチエージェントフレームワークは,この課題を3つのカスケードレベルに分解する。ソースを意識したグローバルな構造アンカーのためのスクリーンライタ,適応的な編集意図とガイダンスをインスタンス化するディレクタ,微粒な最適化によるインテントガイド付きショットシーケンス編集のためのエディタ。
論文 参考訳（メタデータ） (2026-04-06T17:26:04Z) - How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing [56.60465182650588]
我々は,3段階の相互作用階層を導入し,決定的接地,形態的操作,因果推論を捉える。
本稿では,スケーラブルできめ細かい評価を実現するために,タスク固有のメトリクスを備えた堅牢なLMM-as-a-judge評価フレームワークを提案する。
プロプライエタリなモデルは早期の視覚指示追従能力を示し、一貫してオープンソースモデルを上回っていることがわかった。
論文 参考訳（メタデータ） (2026-02-02T09:24:45Z) - IMAGHarmony: Controllable Image Editing with Consistent Object Quantity and Layout [36.70548378032599]
マルチオブジェクトシーンにおける量とレイアウトの整合性(QL-Edit)について検討した。
我々はIMAGHarmonyについて述べる。IMAGHarmonyは、オブジェクトの個数と位置をモデル化しながら知覚意味論を融合する、プラグアンドプレイ調和認識(HA)モジュールを特徴とするフレームワークである。
また、視覚と言語マッチングを通して意味的に整合した初期雑音を選択するPNS戦略を提案する。
論文 参考訳（メタデータ） (2025-06-02T17:59:09Z) - AudioScenic: Audio-Driven Video Scene Editing [55.098754835213995]
本稿では,映像シーン編集のためのオーディオ駆動フレームワークであるAudioScenicを紹介する。
AudioScenicは、時間対応の音声セマンティックインジェクションプロセスを通じて、音声セマンティクスを視覚シーンに統合する。
音の大きさの変化に応じてシーンの時間的ダイナミクスを調節するオーディオ・マグニチュード・モジュレータ・モジュールを提案する。
第2に、オーディオ周波数フーザーモジュールは、映像シーンのダイナミックスとオーディオの周波数を一致させることにより、時間的一貫性を確保するように設計されている。
論文 参考訳（メタデータ） (2024-04-25T12:55:58Z) - Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。
ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
論文 参考訳（メタデータ） (2023-02-15T15:00:55Z) - Repetitive Activity Counting by Sight and Sound [110.36526333035907]
本論文では,ビデオの繰り返し動作をカウントする。
映像コンテンツのみを解析する既存の作品と異なり、再生カウントプロセスに初めて対応する音を組み込んでいます。
論文 参考訳（メタデータ） (2021-03-24T11:15:33Z) - Audiovisual Highlight Detection in Videos [78.26206014711552]
本研究は,タスク上の単一特徴の有効性研究と,一つの特徴を一度に残すアブレーション研究の2つの実験の結果である。
映像要約作業では,視覚的特徴がほとんどの情報を持ち,視覚的特徴を含む視覚的特徴が視覚のみの情報よりも向上することが示唆された。
その結果,映像要約タスクからハイライト検出タスクに特化して訓練されたモデルに知識を伝達できることが示唆された。
論文 参考訳（メタデータ） (2021-02-11T02:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。