論文の概要: Interpretable Convolutional SyncNet

• arxiv url: http://arxiv.org/abs/2409.00971v1
• Date: Mon, 2 Sep 2024 06:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:08:59.573102
• Title: Interpretable Convolutional SyncNet
• Title（参考訳）: 解釈可能な畳み込みSyncNet
• Authors: Sungjoon Park, Jaesub Yun, Donggeon Lee, Minsik Park,
• Abstract要約: 我々は、バランスの取れたBCE損失(BBCE)、バイナリクロスエントロピー(BCE)とInfoNCE損失にインスパイアされた損失を用いて畳み込み同期ネットを訓練する。 我々のモデルはより大きな画像を扱うことができ、その出力は確率論的解釈を与えることができる。 我々のモデルは、LSS2データセットで9,6.5%のSOTA精度、LSS3データセットで9,3.8%のSOTA精度を達成する。
• 参考スコア（独自算出の注目度）: 2.2690115964996793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Because videos in the wild can be out of sync for various reasons, a sync-net is used to bring the video back into sync for tasks that require synchronized videos. Previous state-of-the-art (SOTA) sync-nets use InfoNCE loss, rely on the transformer architecture, or both. Unfortunately, the former makes the model's output difficult to interpret, and the latter is unfriendly with large images, thus limiting the usefulness of sync-nets. In this work, we train a convolutional sync-net using the balanced BCE loss (BBCE), a loss inspired by the binary cross entropy (BCE) and the InfoNCE losses. In contrast to the InfoNCE loss, the BBCE loss does not require complicated sampling schemes. Our model can better handle larger images, and its output can be given a probabilistic interpretation. The probabilistic interpretation allows us to define metrics such as probability at offset and offscreen ratio to evaluate the sync quality of audio-visual (AV) speech datasets. Furthermore, our model achieves SOTA accuracy of $96.5\%$ on the LRS2 dataset and $93.8\%$ on the LRS3 dataset.
• Abstract（参考訳）: さまざまな理由でビデオが同期不能になる可能性があるため、同期されたビデオを必要とするタスクのために、同期ネットがビデオを再同期するために使用される。 これまでのSOTA(State-of-the-art)シンクネットはInfoNCEロスを使用しており、トランスフォーマーアーキテクチャに依存している。 残念なことに、前者はモデルの出力を解釈しにくくし、後者は大きな画像に親しみがなく、同期ネットの有用性を制限している。 本研究ではBCE損失(BBCE)とBCE損失(BCE)とInfoNCE損失(InfoNCE損失)に基づいて畳み込み同期ネットを訓練する。 InfoNCEの損失とは対照的に、BBCEの損失は複雑なサンプリングスキームを必要としない。 我々のモデルはより大きな画像を扱うことができ、その出力は確率論的解釈を与えることができる。 確率論的解釈により、オフセット時の確率やオフスクリーン比などのメトリクスを定義し、音声視覚(AV)音声データセットの同期品質を評価することができる。 さらに、当社のモデルでは、LSS2データセットで9,6.5\%、LSS3データセットで9,3.8\%のSOTA精度を実現している。

関連論文リスト

• Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
  コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。 このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。 また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
  論文  参考訳（メタデータ） (2024-01-29T18:59:55Z)
• GestSync: Determining who is speaking without a talking head [67.75387744442727]
  本稿では,ジェスチャ・シンク (Gesture-Sync) を導入する。 Lip-Syncと比較して、Gesture-Syncは、声と体の動きの間にはるかに緩い関係があるため、はるかに難しい。 このモデルは自己教師付き学習だけで訓練でき、LSS3データセット上での性能を評価することができる。
  論文  参考訳（メタデータ） (2023-10-08T22:48:30Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• On the Audio-visual Synchronization for Lip-to-Speech Synthesis [22.407313748927393]
  GRID, TCD-TIMIT, Lip2Wav などの一般的な音声視覚データセットは, データの非同期性に問題があることを示す。 このようなデータセットでリップ・トゥ・スペルのトレーニングを行うと、モデル非同期問題(つまり、生成された音声と入力ビデオの同期が切れている)がさらに引き起こされる可能性がある。
  論文  参考訳（メタデータ） (2023-03-01T13:35:35Z)
• Sparse in Space and Time: Audio-visual Synchronisation with Trainable Selectors [103.21152156339484]
  本研究の目的は,一般映像の「野生」音声・視覚同期である。 我々は4つのコントリビューションを行う: (i) スパース同期信号に必要な長時間の時間的シーケンスを処理するために、'セレクタ'を利用するマルチモーダルトランスモデルを設計する。 音声やビデオに使用される圧縮コーデックから生じるアーティファクトを識別し、トレーニングにおいてオーディオ視覚モデルを用いて、同期タスクを人工的に解くことができる。
  論文  参考訳（メタデータ） (2022-10-13T14:25:37Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Audio-Visual Synchronisation in the wild [149.84890978170174]
  我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
  論文  参考訳（メタデータ） (2021-12-08T17:50:26Z)
• Do End-to-end Stereo Algorithms Under-utilize Information? [7.538482310185133]
  本稿では,2次元および3次元の畳み込みネットワークに適応フィルタリングと半グローバルアグリゲーションを組み込むことによって,エンドツーエンドのステレオマッチングを実現する方法を示す。 改善は、画像からのRGB情報を信号として利用し、マッチングプロセスを動的にガイドすることによる。
  論文  参考訳（メタデータ） (2020-10-14T18:32:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。