論文の概要: Basic syntax from speech: Spontaneous concatenation in unsupervised deep
neural networks
- arxiv url: http://arxiv.org/abs/2305.01626v1
- Date: Tue, 2 May 2023 17:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 13:31:19.626864
- Title: Basic syntax from speech: Spontaneous concatenation in unsupervised deep
neural networks
- Title(参考訳): 音声からの基本構文:教師なし深層ニューラルネットワークにおける自発的結合
- Authors: Ga\v{s}per Begu\v{s} and Thomas Lu and Zili Wang
- Abstract要約: 私たちは構文の最もユビキタスで基本的な特性の1つに焦点を合わせます。
本稿では,各単語の音響記録を訓練した畳み込みニューラルネットワーク(CNN)が,2、3単語で出力を発生させる現象について紹介する。
- 参考スコア(独自算出の注目度): 2.4536270177613226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computational models of syntax are predominantly text-based. Here we propose
that basic syntax can be modeled directly from raw speech in a fully
unsupervised way. We focus on one of the most ubiquitous and basic properties
of syntax -- concatenation. We introduce spontaneous concatenation: a
phenomenon where convolutional neural networks (CNNs) trained on acoustic
recordings of individual words start generating outputs with two or even three
words concatenated without ever accessing data with multiple words in the
input. Additionally, networks trained on two words learn to embed words into
novel unobserved word combinations. To our knowledge, this is a previously
unreported property of CNNs trained on raw speech in the Generative Adversarial
Network setting and has implications both for our understanding of how these
architectures learn as well as for modeling syntax and its evolution from raw
acoustic inputs.
- Abstract(参考訳): 構文の計算モデルは、主にテキストベースである。
本稿では,基本構文を生の音声から完全に教師なしの方法で直接モデル化することを提案する。
私たちは構文の最もユビキタスで基本的な特性の1つにフォーカスします。
個別単語の音響記録を訓練した畳み込みニューラルネットワーク(CNN)が、入力に複数の単語を持つデータにアクセスすることなく、連結された2つか3つの単語で出力を生成し始める現象である。
さらに、2つの単語で訓練されたネットワークは、新しい観察されていない単語の組み合わせに単語を埋め込むように学習する。
我々の知る限り、これはcnnが生成的敵ネットワーク設定で生の音声で訓練した以前の報告されていない性質であり、これらのアーキテクチャがどのように学習するかの理解と、構文のモデル化と生の音響入力からの進化の両方に影響を与えている。
関連論文リスト
- Neural paraphrasing by automatically crawled and aligned sentence pairs [11.95795974003684]
ニューラルネットワークベースのパラフレーズ化に対する主な障害は、一致した文とパラフレーズのペアを持つ大きなデータセットの欠如である。
本稿では,ニュースサイトやブログサイトが,異なる物語スタイルを用いて同じ出来事を語るという仮定に基づいて,大規模コーパスの自動生成手法を提案する。
本稿では,言語制約のある類似性探索手法を提案する。これは,参照文が与えられた場合,数百万のインデックス付き文から最も類似した候補パラフレーズを見つけることができる。
論文 参考訳(メタデータ) (2024-02-16T10:40:38Z) - Audio-Visual Neural Syntax Acquisition [91.14892278795892]
視覚的音声からの句構造誘導について検討する。
本稿では,音声を聴いたり,画像を見たりすることでフレーズ構造を学習するAV-NSL(Audio-Visual Neural Syntax Learner)について述べる。
論文 参考訳(メタデータ) (2023-10-11T16:54:57Z) - Word class representations spontaneously emerge in a deep neural network
trained on next word prediction [7.240611820374677]
人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか?
これらの基本的な疑問はいまだに熱心に議論されている。
特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。
その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
論文 参考訳(メタデータ) (2023-02-15T11:02:50Z) - RWEN-TTS: Relation-aware Word Encoding Network for Natural
Text-to-Speech Synthesis [3.591224588041813]
膨大な数のTTSモデルが人間のような音声を生成する。
リレーショナル・アウェア・ワード・ネットワーク(RWEN)は,2つのモジュールをベースとした統語的・意味的情報を実現する。
実験結果から, 前作に比べて大幅な改善が見られた。
論文 参考訳(メタデータ) (2022-12-15T16:17:03Z) - token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired
Speech and Text [65.04385919645395]
token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。
実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
論文 参考訳(メタデータ) (2022-10-30T06:38:19Z) - SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder
Based Speech-Text Pre-training [106.34112664893622]
本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。
提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
論文 参考訳(メタデータ) (2022-10-07T17:57:45Z) - Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo
Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。
我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。
このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文 参考訳(メタデータ) (2022-05-02T17:59:02Z) - Modeling speech recognition and synthesis simultaneously: Encoding and
decoding lexical and sublexical semantic information into speech with no
direct access to speech data [0.0]
我々は,非教師付き語彙学習において最も困難な目的である,辞書項目にユニークな表現を割り当てることを学ぶ教師なしネットワークを紹介した。
語彙学習に賛成する強い証拠が現れる。
生産と知覚の原則を組み合わせたアーキテクチャは、実際のトレーニングデータにアクセスすることなく、教師なしの方法で生の音響データからユニークな情報を復号することができる。
論文 参考訳(メタデータ) (2022-03-22T06:04:34Z) - SpeechBrain: A General-Purpose Speech Toolkit [73.0404642815335]
SpeechBrainはオープンソースでオールインワンの音声ツールキットである。
ニューラル音声処理技術の研究開発を促進するために設計された。
幅広い音声ベンチマークにおいて、競争力や最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-06-08T18:22:56Z) - VX2TEXT: End-to-End Learning of Video-Based Text Generation From
Multimodal Inputs [103.99315770490163]
本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。
実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
論文 参考訳(メタデータ) (2021-01-28T15:22:36Z) - CiwGAN and fiwGAN: Encoding information in acoustic data to model
lexical learning with Generative Adversarial Networks [0.0]
語彙学習は、ディープニューラルネットワークにデータを出力させるアーキテクチャの創発体としてモデル化される。
TIMITの辞書項目で訓練されたネットワークは、辞書項目に対応するユニークな情報を、その潜在空間におけるカテゴリ変数の形で符号化することを学ぶ。
ネットワークで学習した音声と音韻の表現は、生産的に組み換えられ、人間の発話の生産性と直接的に平行にできることを示す。
論文 参考訳(メタデータ) (2020-06-04T15:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。