Fugu-MT 論文翻訳(概要): Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis

論文の概要: Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis

arxiv url: http://arxiv.org/abs/2404.19622v1
Date: Tue, 30 Apr 2024 15:22:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-01 13:46:04.937759
Title: Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis
Title（参考訳）: Fake it to make it: using synthetic data to improve the data lack in joint multimodal speech-and-gesture synthesis
Authors: Shivam Mehta, Anna Deichler, Jim O'Regan, Birger Moëll, Jonas Beskow, Gustav Eje Henter, Simon Alexanderson,
Abstract要約: テキストからの音声音声と音声による3Dジェスチャーの同時合成手法は,新しい,新たな分野である。既存の手法は、すべての構成モダリティからの並列データに基づいて訓練される。学生-教員法に着想を得て,追加の教材を簡易に合成することで,データ不足に対する直接的な解決法を提案する。
参考スコア（独自算出の注目度）: 21.210982054134686
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although humans engaged in face-to-face conversation simultaneously communicate both verbally and non-verbally, methods for joint and unified synthesis of speech audio and co-speech 3D gesture motion from text are a new and emerging field. These technologies hold great promise for more human-like, efficient, expressive, and robust synthetic communication, but are currently held back by the lack of suitably large datasets, as existing methods are trained on parallel data from all constituent modalities. Inspired by student-teacher methods, we propose a straightforward solution to the data shortage, by simply synthesising additional training material. Specifically, we use unimodal synthesis models trained on large datasets to create multimodal (but synthetic) parallel training data, and then pre-train a joint synthesis model on that material. In addition, we propose a new synthesis architecture that adds better and more controllable prosody modelling to the state-of-the-art method in the field. Our results confirm that pre-training on large amounts of synthetic data improves the quality of both the speech and the motion synthesised by the multimodal model, with the proposed architecture yielding further benefits when pre-trained on the synthetic data. See https://shivammehta25.github.io/MAGI/ for example output.
Abstract（参考訳）: 対面会話に携わる人間は、言語と非言語の両方を同時にコミュニケーションするが、音声の合成とテキストからの3Dジェスチャーの同時合成の方法は、新しくて新しい分野である。これらの技術は、より人間らしく、効率的で、表現力があり、堅牢な合成通信を約束するが、既存の手法は、すべての構成モダリティからの並列データに基づいて訓練されているため、現在、適切な大規模なデータセットが不足していることに支えられている。学生-教員法に着想を得て,追加の教材を簡易に合成することで,データ不足に対する直接的な解決法を提案する。具体的には、大規模なデータセットで訓練された単調合成モデルを用いて、マルチモーダル(しかし合成)並列トレーニングデータを作成し、その材料上で共同合成モデルを事前訓練する。さらに,現場における最先端の手法に,より優れた制御可能な韻律モデリングを付加した新しい合成アーキテクチャを提案する。本研究は,大量の合成データに対する事前学習により,多モーダルモデルにより合成された音声と動きの質が向上することを確認した。 https://shivammehta25.github.io/MAGI/ を参照。

関連論文リスト

ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。その結果,GPT-4に匹敵するツールコール性能が得られた。
論文参考訳（メタデータ） (2024-10-24T05:45:04Z)
Synthetic continued pretraining [29.6872772403251]
ドメイン固有文書の小さなコーパス上での合成継続事前学習を提案する。合成データ拡張アルゴリズムであるEntiGraphでこの提案をインスタンス化する。合成データ拡張が、よりデータ効率のよい学習を可能にするために、どのように知識を"再編成"できるかを示す。
論文参考訳（メタデータ） (2024-09-11T17:21:59Z)
Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-10-20T17:14:25Z)
Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-07-17T14:38:11Z)
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
まず,合成から現実への新規な視点合成における合成データの影響について検討した。本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
論文参考訳（メタデータ） (2023-03-20T12:06:14Z)
Synthetic Pre-Training Tasks for Neural Machine Translation [16.6378815054841]
我々のゴールは、合成資源を使用する場合の事前学習モデルの有効性に寄与する要因を理解することである。本稿では,語彙的および構造的知識のレベルが異なる事前学習型翻訳モデルを提案する。複数の言語ペアに対する実験により,高レベルの難読化や純粋に合成された並列データであっても,事前学習のメリットが実現できることが明らかになった。
論文参考訳（メタデータ） (2022-12-19T21:34:00Z)
FusionRetro: Molecule Representation Fusion via In-Context Learning for Retrosynthetic Planning [58.47265392465442]
再合成計画(Retrosynthetic Planning)は、開始物質から標的分子への完全な多段階合成経路を考案することを目的としている。現在の戦略では、単一ステップの逆合成モデルと探索アルゴリズムの分離されたアプローチを採用している。本稿では,文脈情報を利用した新しいフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-30T08:44:58Z)
Advancing Semi-Supervised Learning for Automatic Post-Editing: Data-Synthesis by Mask-Infilling with Erroneous Terms [5.366354612549173]
高品質な合成データを作成するためのデータ合成手法に着目する。本稿では,結果の合成データが実際のデータにある翻訳誤りを模倣するデータ合成手法を提案する。実験結果から, 提案手法により生成した合成データを用いることで, 既存の合成データよりもAPEの性能が有意に向上することがわかった。
論文参考訳（メタデータ） (2022-04-08T07:48:57Z)
Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition [18.924716098922683]
合成データによる機械学習は、合成データと実際のデータ分布のギャップのため、簡単ではない。本稿では,分散ギャップに起因する問題を緩和するために,トレーニング中の2つの新しい手法を提案する。これらの手法は,合成データを用いた音声認識モデルの訓練を著しく改善することを示す。
論文参考訳（メタデータ） (2021-10-21T21:11:42Z)
Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks [58.0240970093372]
本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
論文参考訳（メタデータ） (2021-02-02T12:26:50Z)
Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement [31.33429812278942]
提案したエンドツーエンド音声合成モデルでは,話者埋め込みと雑音表現をそれぞれモデル話者と雑音情報に対する条件入力として利用する。実験結果から,提案手法により生成した音声は,直接調整したマルチ話者音声合成モデルよりも主観評価が優れていることがわかった。
論文参考訳（メタデータ） (2020-05-26T06:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。