論文の概要: Joint Generation of Captions and Subtitles with Dual Decoding
- arxiv url: http://arxiv.org/abs/2205.06522v1
- Date: Fri, 13 May 2022 09:12:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 20:34:06.766237
- Title: Joint Generation of Captions and Subtitles with Dual Decoding
- Title(参考訳): 二重復号による字幕と字幕の同時生成
- Authors: Jitao Xu, Fran\c{c}ois Buet, Josep Crego, Elise Bertin-Lem\'ee,
Fran\c{c}ois Yvon
- Abstract要約: これら2つのタスク間の強い結合を実現するために、二重復号方式を評価する。
モデルのサイズやトレーニングの複雑さに関して、ほとんどコストがかからず、妥当性と一貫性がいかに向上しているかを示します。
- 参考スコア(独自算出の注目度): 1.6624384368855525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the amount of audio-visual content increases, the need to develop
automatic captioning and subtitling solutions to match the expectations of a
growing international audience appears as the only viable way to boost
throughput and lower the related post-production costs. Automatic captioning
and subtitling often need to be tightly intertwined to achieve an appropriate
level of consistency and synchronization with each other and with the video
signal. In this work, we assess a dual decoding scheme to achieve a strong
coupling between these two tasks and show how adequacy and consistency are
increased, with virtually no additional cost in terms of model size and
training complexity.
- Abstract(参考訳): 音声・視覚コンテンツの増加に伴い、国際的な視聴者の期待に応えて自動キャプション・サブティット・ソリューションを開発する必要性が、スループットを向上し、関連するポストプロダクションコストを削減できる唯一の方法として現れている。
自動キャプションとサブタイピングは、互いに適切なレベルの一貫性と同期を達成するために、ビデオ信号と密接に連携する必要があることが多い。
本研究では,これら2つのタスク間の強い結合を実現するために,二重復号方式を評価し,モデルサイズやトレーニングの複雑さといった付加的なコストをほとんど必要とせず,妥当性と一貫性がどの程度向上しているかを示す。
関連論文リスト
- Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳(メタデータ) (2023-12-11T18:54:52Z) - Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM
Animator [59.589919015669274]
本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。
本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。
また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
論文 参考訳(メタデータ) (2023-09-25T19:42:16Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-14T08:19:24Z) - Token-Level Serialized Output Training for Joint Streaming ASR and ST
Leveraging Textual Alignments [49.38965743465124]
本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。
単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
論文 参考訳(メタデータ) (2023-07-07T02:26:18Z) - Consistency-guided Prompt Learning for Vision-Language Models [27.75143621836449]
視覚言語モデルのための新しい微調整手法であるConsistency-Guided Prompt Learning (CoPrompt)を提案する。
提案手法は,下流タスクを数ショットで微調整した場合に,大規模な基礎モデルの一般化を改善する。
論文 参考訳(メタデータ) (2023-06-01T23:20:47Z) - Probing Visual-Audio Representation for Video Highlight Detection via
Hard-Pairs Guided Contrastive Learning [23.472951216815765]
効果的なビデオ表現の鍵は、クロスモーダルな表現学習ときめ細かい特徴識別である。
本稿では,表現モデリングにおけるモダリティ内関係とモダリティ間関係の強化について述べる。
コントラスト学習方式によるハードペアによる特徴埋め込みの識別能力を拡大する。
論文 参考訳(メタデータ) (2022-06-21T07:29:37Z) - Multi-Modal Interaction Graph Convolutional Network for Temporal
Language Localization in Videos [55.52369116870822]
本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。
自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
論文 参考訳(メタデータ) (2021-10-12T14:59:25Z) - Between Flexibility and Consistency: Joint Generation of Captions and
Subtitles [13.58711830450618]
音声翻訳(ST)は、最近、中間ソース言語の転写とタイミングを必要とせず、字幕生成への関心が高まっている。
本研究では、構造や語彙内容の観点から一貫した字幕字幕を生成するSTモデルに焦点を当てる。
本研究は, 共同復号化によって生成した字幕と字幕間の性能と一貫性が向上し, 言語固有のニーズや規範に適合した字幕を生成するのに十分な柔軟性が得られていることを示す。
論文 参考訳(メタデータ) (2021-07-13T17:06:04Z) - Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual
Speech Separation [73.1652905564163]
本稿では,音声-視覚的ニューラル処理を用いて音声信号と映像を分離する問題に対処する。
従来の手法では、フレームワイドマッチング基準を用いて、音声とビデオの共有情報を抽出する。
音声と視覚ストリーム間の局所的な親和性だけでなく,グローバル通信を学習するクロスモーダル親和性ネットワーク(CaffNet)を提案する。
論文 参考訳(メタデータ) (2021-03-25T15:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。