論文の概要: What Do Audio-Visual Synchronization Metrics Actually Measure?

• arxiv url: http://arxiv.org/abs/2608.25157v1
• Date: Tue, 25 Aug 2026 21:08:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.447229
• Title: What Do Audio-Visual Synchronization Metrics Actually Measure?
• Title（参考訳）: オーディオ・ビジュアル・シンクロナイゼーション・メトリクスは実際に何を測定するのか?
• Abstract要約: AV-sync メトリクス AV-Align, ImageBind AV-Relevance, JavisScore, Synchformer/DeSync を監査した。 Synchformer/DeSyncは、最も強力な時間オフセットトラッカーである。 AV-sync を信頼度カードメトリック・ファミリーの故障と信頼区間で報告することを推奨する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic AV-sync metrics are widely used to rank and train audio-visual generators, but they are rarely audited as measurement instruments. We jointly audit AV-Align, ImageBind AV-relevance, JavisScore, and Synchformer/DeSync under a common reliability protocol: controlled-distortion monotonicity, preprocessing sensitivity, rank uncertainty, cross-metric agreement, PEAVS-proxy agreement, and learned fusion. The result is an axis split, not a single winner: Synchformer/DeSync is the strongest temporal-offset tracker ($τ=0.84$), ImageBind/JavisScore better match the PEAVS human-aligned proxy ($τ=0.20$) and content-disruption families, and AV-Align is the weakest standalone metric. The metrics mutually disagree (Krippendorff $α=0.066$), and neither linear nor simple $k$-NN fusion improves PEAVS agreement over the best individual metric. We recommend reporting AV-sync as a Reliability Card (metric-family breakdowns with confidence intervals) rather than a single bare synchronization score.
• Abstract（参考訳）: 自動AV同期メトリクスは、オーディオ・ビジュアル・ジェネレータのランク付けとトレーニングに広く用いられているが、計測機器として監査されることは稀である。 AV-Align, ImageBind AV-relevance, JavisScore, Synchformer/DeSyncを共通信頼プロトコルとして, 制御歪みのモノトニック性, 事前処理感度, ランクの不確実性, クロスメトリック合意, PEAVS-プロキシ合意, 学習融合を共同評価した。 Synchformer/DeSyncは、最も強力な時間的オフセットトラッカー(τ=0.84$)、ImageBind/JavisScoreは、PEAVSのヒューマンアライメントプロキシ(τ=0.20$)とコンテンツ破壊ファミリにマッチし、AV-Alignは最も弱いスタンドアロンメトリックである。 計量は相互に一致せず(クリッペンドルフ$α=0.066$)、線形でも単純な$k$-NN融合も、最良の個々の計量についてPEAVSの合意を改善しない。 AV-syncを1つの素の同期スコアではなく、信頼性カードとして報告することを推奨する。

関連論文リスト

• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• Did We Actually Fix It? An Independent Adversarial Stress-Test of Post-Point-Adjustment Evaluation Metrics for Time-Series Anomaly Detection [0.0]
  我々は,実際のベンチマークにおいて,代替指標が非熟練検出器に抵抗するか否かを,独立して,反対に問う。 N, 敵が最も多く報告するランダムな試行回数。 ほぼすべてのベンチマークにおいて、単一ランのスコアを報告したり、Nを開示したり、最もNのインフレに抵抗するPRベースの指標を好むことを推奨する。
  論文  参考訳（メタデータ） (2026-07-12T22:33:07Z)
• Multiagent Protocols with Aggregated Confidence Signals [7.128020779227392]
  信頼は、自然言語処理(NLP)における信頼性、監視、および下流決定タスクに使用される。 以前の作業では、メッセージの重み付け、議論のトリガー、個々のエージェントの校正に、マルチエージェント討論(MAD)内での信頼性を使用していた。 まず、まず、生の信頼信号を変換してモデル間で比較し、ソフト投票や確率融合によって組み合わせることで、最終的な回答を生成する3つのプロトコルを紹介します。
  論文  参考訳（メタデータ） (2026-06-11T17:12:11Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Inference-Time Scaling for Joint Audio-Video Generation [38.09471807128537]
  ジョイントオーディオビデオ生成モデルは、忠実性を改善するためにかなりのトレーニングリソースを必要とすることが多い。 推論時間スケーリングは、単一のモダリティドメインにおいて、有望なトレーニング不要の代替手段である。 共同音声・ビデオ生成のためのITSの総合的研究について紹介する。
  論文  参考訳（メタデータ） (2026-06-02T05:41:41Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• GroupEnsemble: Efficient Uncertainty Estimation for DETR-based Object Detection [10.241307426902178]
  GroupEnsembleはDTRのようなモデルに対する効率的かつ効果的な不確実性推定手法である。 我々は,都市景観とCOCOデータセットを用いて,自律運転シーンと日常の日常シーン下での手法の有効性を検証した。 その結果,MC-Dropout と GroupEnsemble を組み合わせたハイブリッドアプローチは,Deep Ensembles をコストのごく一部で実現していることがわかった。
  論文  参考訳（メタデータ） (2026-03-02T13:26:40Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• PEAVS: Perceptual Evaluation of Audio-Visual Synchrony Grounded in Viewers' Opinion Scores [18.26082503192707]
  PEAVS(Perceptual Evaluation of Audio-Visual Synchrony)スコアは,音声-視覚同期の質を評価する5点尺度を備えた新しい自動測定値である。 実験では、Fr'eche'tをベースとしたオーディオ・ビジュアル同期の自然な拡張に対して、相対的な50%のゲインを観測した。
  論文  参考訳（メタデータ） (2024-04-10T20:32:24Z)
• Detection Transformer with Stable Matching [48.963171068785435]
  もっとも重要な設計は, 肯定的な事例の分類スコアを監督するために, 位置測定値のみを使用することである。 本原理では,DTRの分類損失とマッチングコストに位置測定値を統合することで,簡易かつ効果的な2つの修正を提案する。 12エポックおよび24エポックのトレーニング設定の下でResNet-50バックボーンを用いてCOCO検出ベンチマークで50.4および51.5APを達成する。
  論文  参考訳（メタデータ） (2023-04-10T17:55:37Z)
• Spotting adversarial samples for speaker verification by neural vocoders [102.1486475058963]
  我々は、自動話者検証(ASV)のための敵対サンプルを見つけるために、ニューラルボコーダを採用する。 元の音声と再合成音声のASVスコアの違いは、真正と逆正のサンプルの識別に良い指標であることがわかった。 私たちのコードは、将来的な比較作業のためにオープンソースにされます。
  論文  参考訳（メタデータ） (2021-07-01T08:58:16Z)
• Probabilistic Ranking-Aware Ensembles for Enhanced Object Detections [50.096540945099704]
  本稿では,検知器から箱を囲むことの信頼性を向上するPRAE(Probabilistic Ranking Aware Ensemble)という新しいアンサンブルを提案する。 また,異なる数の箱を扱う必要性によって生じる信頼の不均衡問題に対処するためのbanditアプローチも導入する。
  論文  参考訳（メタデータ） (2021-05-07T09:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。