Fugu-MT 論文翻訳(概要): SyncReward: Human-Aligned Synchronization Reward for Audio-Visual Generation

論文の概要: SyncReward: Human-Aligned Synchronization Reward for Audio-Visual Generation

arxiv url: http://arxiv.org/abs/2610.16338v1
Date: Mon, 12 Oct 2026 07:59:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-19 06:24:59.025652
Title: SyncReward: Human-Aligned Synchronization Reward for Audio-Visual Generation
Title（参考訳）: SyncReward:オーディオ・ビジュアル・ジェネレーションのための人間対応同期リワード
Abstract要約: SyncRewardは、実クリップにおける意味的時間的コントラスト事前トレーニングと、生成されたクリップに対する人間の監督を組み合わせた報酬モデルである。我々は、データ、ベンチマーク、報酬モデリングにまたがる包括的な研究を行う。評価指標として、SyncRewardは評価手法の中でヒトのレーティングと最強の合意を達成している。
参考スコア（独自算出の注目度）: 9.538001095061878
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent years have witnessed rapid progress in joint audio--visual generation. However, audio--visual synchronization remains a challenge, as generated speech and sound often temporally misalign with visual events. A key bottleneck is the lack of human-annotated data, reliable evaluation benchmarks, and synchronization-aware evaluation models for generated audio--visual outputs. To address these limitations, we conduct a comprehensive study spanning data, benchmarking, and reward modeling. We first introduce SyncReward-Data-80K, a dataset containing 80K professional synchronization ratings for clips from eight audio--visual generators. A taxonomy-guided construction pipeline covers four sound-event families: Speech, Onset, Instrument, and Ambient. We further construct \textbf{SyncReward-Bench}, a held-out benchmark of 1K clips, each independently rated by multiple professionals. Using this benchmark, we systematically evaluate specialized synchronization metrics and omni-modal models, revealing their substantial misalignment with human judgments. Finally, we develop SyncReward, a reward model that combines semantic--temporal contrastive pretraining on real clips with human supervision on generated clips. As an evaluation metric, SyncReward achieves the strongest agreement with human ratings among the evaluated methods. As a reward, it improves synchronization through inference-time best-of-$N$ selection and reinforcement learning based post-training. We will release the data, benchmark, model, and code at https://github.com/WeChatCV/SyncReward.
Abstract（参考訳）: 近年, 音声と視覚の同時生成が急速に進展している。しかし, 音声と視覚の同時同期は依然として課題であり, 生成した音声と音声は, 視覚イベントと時間的に違っていることが多い。重要なボトルネックは、人間の注釈付きデータの欠如、信頼性の高い評価ベンチマーク、および生成されたオーディオ視覚出力に対する同期対応評価モデルである。これらの制限に対処するため、私たちはデータ、ベンチマーク、報酬モデリングにまたがる包括的な研究を行っている。 SyncReward-Data-80Kは、8つのオーディオ・ビジュアル・ジェネレータのクリップに対して80Kのプロの同期レーティングを含むデータセットである。分類学が指導する建設パイプラインは、音声、オンセット、楽器、そしてアンビエントという4つの音質のファミリーをカバーしている。さらに、1Kクリップのホールドアウトベンチマークである \textbf{SyncReward-Bench} を構築する。このベンチマークを用いて、特殊同期指標とオムニモーダルモデルを体系的に評価し、人間の判断と実質的な相違を明らかにした。最後に、実クリップにおける意味的時間的コントラスト事前学習と、生成されたクリップに対する人間の監督を組み合わせた報酬モデルSyncRewardを開発する。評価指標として、SyncRewardは評価手法の中でヒトのレーティングと最強の合意を達成している。報酬として、推論タイムのベスト・オブ・N$選択と強化学習に基づくポストトレーニングによる同期を改善する。データ、ベンチマーク、モデル、コードをhttps://github.com/WeChatCV/SyncReward.comでリリースします。

関連論文リスト

AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization [21.773304314522345]
音声・視覚同期のための時間的・意味的評価を分離する最初のベンチマークであるAV-SyncBenchを提案する。このビデオは、Voice、Music、Soundの10のシナリオと5つの課題にまたがっている。ベンチマークには3,269本の動画と38,390本のサンプルが含まれており、アライメントおよび下流タスクの特徴的品質を定量化するための5つの代表的なモデルを評価する。
論文参考訳（メタデータ） (2026-07-01T10:12:25Z)
JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization [94.82127738291749]
JavisDiTは、オープンエンドのユーザープロンプトから高品質なオーディオとビデオコンテンツを同時に生成することができる。新しいベンチマークであるJavisBenchは、さまざまなシーンと複雑な現実世界のシナリオにまたがる、10,140の高品質なテキストキャプション付きサウンドビデオで構成されている。
論文参考訳（メタデータ） (2025-03-30T09:40:42Z)
Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising [114.39028517171236]
そこで我々は,ゼロショット音声映像編集を導入し,新たなモデルトレーニングを必要とせず,特定のテキストプロンプトに合わせるために,オリジナル音声映像コンテンツを変換する新しいタスクを提案する。この課題を評価するために、ゼロショットオーディオビデオ編集用に明示的に設計されたベンチマークデータセットAvED-Benchをキュレートする。 AvEDは、AvED-Benchと最近のOAVEデータセットの両方で優れた結果を示し、その一般化能力を検証する。
論文参考訳（メタデータ） (2025-03-26T17:59:04Z)
PEAVS: Perceptual Evaluation of Audio-Visual Synchrony Grounded in Viewers' Opinion Scores [18.26082503192707]
PEAVS(Perceptual Evaluation of Audio-Visual Synchrony)スコアは,音声-視覚同期の質を評価する5点尺度を備えた新しい自動測定値である。実験では、Fr'eche'tをベースとしたオーディオ・ビジュアル同期の自然な拡張に対して、相対的な50%のゲインを観測した。
論文参考訳（メタデータ） (2024-04-10T20:32:24Z)
Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
論文参考訳（メタデータ） (2024-01-29T18:59:55Z)
GestSync: Determining who is speaking without a talking head [67.75387744442727]
本稿では,ジェスチャ・シンク (Gesture-Sync) を導入する。 Lip-Syncと比較して、Gesture-Syncは、声と体の動きの間にはるかに緩い関係があるため、はるかに難しい。このモデルは自己教師付き学習だけで訓練でき、LSS3データセット上での性能を評価することができる。
論文参考訳（メタデータ） (2023-10-08T22:48:30Z)
On the Audio-visual Synchronization for Lip-to-Speech Synthesis [22.407313748927393]
GRID, TCD-TIMIT, Lip2Wav などの一般的な音声視覚データセットは, データの非同期性に問題があることを示す。このようなデータセットでリップ・トゥ・スペルのトレーニングを行うと、モデル非同期問題(つまり、生成された音声と入力ビデオの同期が切れている)がさらに引き起こされる可能性がある。
論文参考訳（メタデータ） (2023-03-01T13:35:35Z)
Sparse in Space and Time: Audio-visual Synchronisation with Trainable Selectors [103.21152156339484]
本研究の目的は,一般映像の「野生」音声・視覚同期である。我々は4つのコントリビューションを行う: (i) スパース同期信号に必要な長時間の時間的シーケンスを処理するために、'セレクタ'を利用するマルチモーダルトランスモデルを設計する。音声やビデオに使用される圧縮コーデックから生じるアーティファクトを識別し、トレーニングにおいてオーディオ視覚モデルを用いて、同期タスクを人工的に解くことができる。
論文参考訳（メタデータ） (2022-10-13T14:25:37Z)
Audio-Visual Synchronisation in the wild [149.84890978170174]
我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
論文参考訳（メタデータ） (2021-12-08T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。