論文の概要: Self-Supervised Speech Representations are More Phonetic than Semantic

• arxiv url: http://arxiv.org/abs/2406.08619v1
• Date: Wed, 12 Jun 2024 20:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 22:07:36.991816
• Title: Self-Supervised Speech Representations are More Phonetic than Semantic
• Title（参考訳）: 自己教師付き音声表現はセマンティックよりも音声的
• Authors: Kwanghee Choi, Ankita Pasad, Tomohiko Nakamura, Satoru Fukayama, Karen Livescu, Shinji Watanabe,
• Abstract要約: 自己教師付き音声モデル(S3Ms)は、音声応用の有効なバックボーンとなっている。 S3Msで符号化された単語レベルの言語特性のよりきめ細かい分析を求める。 本研究により,S3M表現は意味的類似性よりも連続的かつ顕著に音声的類似性を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 52.02626675137819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised speech models (S3Ms) have become an effective backbone for speech applications. Various analyses suggest that S3Ms encode linguistic properties. In this work, we seek a more fine-grained analysis of the word-level linguistic properties encoded in S3Ms. Specifically, we curate a novel dataset of near homophone (phonetically similar) and synonym (semantically similar) word pairs and measure the similarities between S3M word representation pairs. Our study reveals that S3M representations consistently and significantly exhibit more phonetic than semantic similarity. Further, we question whether widely used intent classification datasets such as Fluent Speech Commands and Snips Smartlights are adequate for measuring semantic abilities. Our simple baseline, using only the word identity, surpasses S3M-based models. This corroborates our findings and suggests that high scores on these datasets do not necessarily guarantee the presence of semantic content.
• Abstract（参考訳）: 自己教師付き音声モデル(S3Ms)は、音声応用の有効なバックボーンとなっている。 様々な分析から、S3Msは言語特性をコードしていることが示唆されている。 本研究では,S3Msで符号化された単語レベルの言語特性について,よりきめ細かい解析を行う。 具体的には、近いホモフォン(音韻的に類似)と同義語(音韻的に類似)の新たなデータセットをキュレートし、S3Mワード表現ペア間の類似度を測定する。 本研究により,S3M表現は意味的類似性よりも連続的かつ顕著に音声的類似性を示すことが明らかとなった。 さらに,Fluent Speech CommandsやSnips Smartlightsなどの広範に使用されている意図分類データセットが,意味的能力を測定するのに適切かどうかを問う。 私たちの単純なベースラインは、単語IDのみを使用して、S3Mベースのモデルを上回る。 このことは我々の発見を裏付けるものであり、これらのデータセットの高得点が必ずしも意味的コンテンツの存在を保証するとは限らないことを示唆している。

関連論文リスト

• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings [23.822788597966646]
  音響単語埋め込み(AWEs)は、音声の内容を符号化する音声セグメントの固定次元ベクトル表現である。 本稿ではセマンティックAWEモデリングについて考察する。 AWEがダウンストリームのセマンティッククエリ・バイ・サンプル検索に使用できることを初めて示します。
  論文  参考訳（メタデータ） (2023-07-05T07:46:54Z)
• What Do Self-Supervised Speech Models Know About Words? [23.163029143563893]
  自己教師型音声モデル(S3Ms)はここ数年で導入され、様々な音声タスクの性能とデータ効率が改善されている。 最近の研究は、S3Mが音声情報や話者情報などの特定の特性をエンコードする方法の分析を始めている。 我々は,S3Msで符号化されたセグメントレベルの言語特性を研究するために,軽量な解析手法を用いた。
  論文  参考訳（メタデータ） (2023-06-30T22:36:41Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Disentangling Learnable and Memorizable Data via Contrastive Learning for Semantic Communications [81.10703519117465]
  セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。 特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。 信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。 シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
  論文  参考訳（メタデータ） (2022-12-18T12:00:12Z)
• Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR [8.832255053182283]
  本稿では,サブワードトークンに符号化された音声およびテキスト情報から直接ユーザの意図(デバイスに話しかけるか否かに関わらず)を予測する新しい手法を提案する。 提案手法は, 意図しないユーザ音声の93.3%を, 99%の正の確率で起動することで, 精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-10-21T17:45:00Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Named Entity Recognition for Social Media Texts with Semantic Augmentation [70.44281443975554]
  名前付きエンティティ認識のための既存のアプローチは、短いテキストと非公式テキストで実行される場合、データ空間の問題に悩まされる。 そこで我々は,NER によるソーシャルメディアテキストに対するニューラルベースアプローチを提案し,ローカルテキストと拡張セマンティクスの両方を考慮に入れた。
  論文  参考訳（メタデータ） (2020-10-29T10:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。