論文の概要: A Comparative Study of Discrete Speech Tokens for Semantic-Related Tasks with Large Language Models

• arxiv url: http://arxiv.org/abs/2411.08742v1
• Date: Wed, 13 Nov 2024 16:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:31.788798
• Title: A Comparative Study of Discrete Speech Tokens for Semantic-Related Tasks with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた意味的関連課題に対する離散音声トークンの比較検討
• Authors: Dingdong Wang, Mingyu Cui, Dongchao Yang, Xueyuan Chen, Helen Meng,
• Abstract要約: 様々な意味的タスクにおける離散的特徴と連続的特徴の公平かつ徹底的な比較を示す。 連続的な特徴は一般に離散トークンよりも優れており、特に微粒な意味理解を必要とするタスクにおいて顕著である。
• 参考スコア（独自算出の注目度）: 46.298114175792584
• License:
• Abstract: With the rise of Speech Large Language Models (Speech LLMs), there has been growing interest in discrete speech tokens for their ability to integrate with text-based tokens seamlessly. Compared to most studies that focus on continuous speech features, although discrete-token based LLMs have shown promising results on certain tasks, the performance gap between these two paradigms is rarely explored. In this paper, we present a fair and thorough comparison between discrete and continuous features across a variety of semantic-related tasks using a light-weight LLM (Qwen1.5-0.5B). Our findings reveal that continuous features generally outperform discrete tokens, particularly in tasks requiring fine-grained semantic understanding. Moreover, this study goes beyond surface-level comparison by identifying key factors behind the under-performance of discrete tokens, such as limited token granularity and inefficient information retention. To enhance the performance of discrete tokens, we explore potential aspects based on our analysis. We hope our results can offer new insights into the opportunities for advancing discrete speech tokens in Speech LLMs.
• Abstract（参考訳）: 音声大言語モデル(Speech LLMs)の台頭に伴い、テキストベースのトークンとシームレスに統合する能力に対して、個別の音声トークンへの関心が高まっている。 連続的な音声特徴に着目したほとんどの研究と比較して、離散的学習に基づくLLMは特定のタスクに対して有望な結果を示したが、これらの2つのパラダイム間の性能差はめったに研究されていない。 本稿では,軽度LLM(Qwen1.5-0.5B)を用いて,多種多様な意味的タスクにおける離散的特徴と連続的特徴の公平かつ徹底的な比較を行った。 この結果から, 連続的な特徴は一般に離散トークンよりも優れており, 特に微粒な意味理解を必要とするタスクにおいて顕著であることがわかった。 さらに, トークンの粒度制限や情報保持の非効率化など, 離散トークンの低性能化の背後にある重要な要因を同定することによって, 表面レベルでの比較を行う。 離散トークンの性能を高めるために,分析に基づく潜在的側面を探究する。 音声LLMにおける個別の音声トークンを前進させる機会について,新たな知見が得られることを願っている。

関連論文リスト

• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Comparing Discrete and Continuous Space LLMs for Speech Recognition [46.70297458685438]
  本稿では,Large Language Model(LLM)に基づく音声認識(ASR)における離散的かつ連続的な音声表現について検討する。 入力フィードバックと自己回帰フィードバックに基づいてLLMを連続空間モデルと離散空間モデルに分類する。 本稿では,HuBERTエンコーダを用いて,LibriSpeech上で1.69%の最先端ワード誤り率(WER)をオープンソースで達成する。
  論文  参考訳（メタデータ） (2024-09-01T18:29:45Z)
• Improving Self Consistency in LLMs through Probabilistic Tokenization [7.998168689120558]
  本稿では,現代言語モデルの複数トークン化機能を活用する新しい手法を提案する。 確率的トークン化を利用する場合, LLMは論理的に多様な推論経路を生成する。
  論文  参考訳（メタデータ） (2024-07-04T06:52:48Z)
• DASB -- Discrete Audio and Speech Benchmark [12.02056212008393]
  我々は、様々なタスクで離散オーディオトークンをベンチマークするためのリーダーボードである、離散オーディオおよび音声ベンチマーク(DASB)をリリースする。 その結果, 意味トークンは, 識別的, 生成的タスクにおいて, 圧縮トークンよりも優れていた。 しかし、セマンティックトークンと標準的な連続表現の間のパフォーマンスのギャップは依然として大きい。
  論文  参考訳（メタデータ） (2024-06-20T13:23:27Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis [3.691712391306624]
  細粒度潜在空間もまた粗粒度情報を捉えており、これは多彩な韻律表現を捉えるために潜在空間の次元が大きくなるにつれて明らかである。 本稿では、まず、豊富な音声属性をトークンレベル潜在空間にキャプチャし、入力テキストを付与した先行ネットワークを個別に訓練し、前ステップで抽出した音素レベル後潜在音を予測するために、発話レベル表現を学習することでこの問題を軽減する。
  論文  参考訳（メタデータ） (2022-11-01T15:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。