論文の概要: Text-Free Image-to-Speech Synthesis Using Learned Segmental Units

• arxiv url: http://arxiv.org/abs/2012.15454v1
• Date: Thu, 31 Dec 2020 05:28:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 03:24:26.234087
• Title: Text-Free Image-to-Speech Synthesis Using Learned Segmental Units
• Title（参考訳）: 学習セグメント単位を用いたテキスト自由音声合成
• Authors: Wei-Ning Hsu, David Harwath, Christopher Song, James Glass
• Abstract要約: 画像の自然な音声キャプションを直接流用する最初のモデルを提案する。 我々は、画像キャプションモジュールと音声合成モジュールを、独立したサブワード音声ユニットのセットで接続する。 Flickr8k音声キャプションデータセットと、人気のMSCOCOデータセットのために収集された音声キャプションの新しいコーパスについて実験を行います。
• 参考スコア（独自算出の注目度）: 24.657722909094662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we present the first model for directly synthesizing fluent, natural-sounding spoken audio captions for images that does not require natural language text as an intermediate representation or source of supervision. Instead, we connect the image captioning module and the speech synthesis module with a set of discrete, sub-word speech units that are discovered with a self-supervised visual grounding task. We conduct experiments on the Flickr8k spoken caption dataset in addition to a novel corpus of spoken audio captions collected for the popular MSCOCO dataset, demonstrating that our generated captions also capture diverse visual semantics of the images they describe. We investigate several different intermediate speech representations, and empirically find that the representation must satisfy several important properties to serve as drop-in replacements for text.
• Abstract（参考訳）: 本稿では,自然言語テキストを中間表現や監督源として必要としない画像に対して,自然音声音声キャプションを直接合成する最初のモデルを提案する。 代わりに、画像キャプションモジュールと音声合成モジュールを、自己教師ありの視覚グランド化タスクで検出される離散的なサブワード音声ユニットの集合と接続する。 flickr8k音声キャプションデータセットについて実験を行い,人気のあるmscocoデータセット用に収集した音声キャプションのコーパスを用いて,そのキャプションが表現した画像の多様な視覚的意味を捉えていることを示す。 そこで本研究では,テキストのドロップイン置換として機能するためには,複数の重要な特性を満たす必要があることを実証的に確認する。

関連論文リスト

• Translating speech with just images [23.104041372055466]
  既存の画像キャプションシステムを介して、画像とテキストをリンクすることで、この接続を拡張します。 このアプローチは、生成されたキャプションと異なる言語で音声を付加することにより、画像のみを用いた音声翻訳に使用できる。 実際の低リソース言語であるYorub'aについて検討し、Yorub'a-to- English 音声翻訳モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:29:24Z)
• CapText: Large Language Model-based Caption Generation From Image Context and Description [0.0]
  テキスト記述と文脈のみからキャプションを生成する新しいアプローチを提案し,評価する。 提案手法は,OSCAR-VinVL などの最先端画像テキストアライメントモデルにおいて,CIDEr メトリック上でのタスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-06-01T02:40:44Z)
• ANNA: Abstractive Text-to-Image Synthesis with Filtered News Captions [6.066100464517522]
  ニュースデータなどのドメインに存在する実世界のイメージキャプチャペアは、単純で直接記述的なキャプションを使用しない。 我々は、さまざまな状況下でオンラインニュース記事から抽出した抽象ニュースキャプティオNs dAtasetであるANNAをローンチした。 翻訳学習のような手法は抽象的なキャプションの理解において限られた成功を収めるが、コンテンツと文脈の特徴の関係を一貫して学習することができないことを示す。
  論文  参考訳（メタデータ） (2023-01-05T17:19:01Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model [56.49878599920353]
  SpeechCLIPは、画像を通して音声とテキストをブリッジし、文字起こしなしに音声モデルを強化する新しいフレームワークである。 我々は、最先端の訓練済みのHuBERTとCLIPを活用し、ペア画像と音声キャプションを最小限の微調整で調整する。
  論文  参考訳（メタデータ） (2022-10-03T04:15:36Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Structural and Functional Decomposition for Personality Image Captioning in a Communication Game [53.74847926974122]
  パーソナリティ画像キャプション(PIC)は、性格特性が与えられた自然言語キャプションを持つ画像を記述することを目的としている。 本稿では,話者とリスナーのコミュニケーションゲームに基づくPICの新しい定式化を提案する。
  論文  参考訳（メタデータ） (2020-11-17T10:19:27Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。