論文の概要: Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models

• arxiv url: http://arxiv.org/abs/2606.25436v1
• Date: Wed, 24 Jun 2026 05:57:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.238385
• Title: Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models
• Title（参考訳）: 音声とテキストに基づく大規模言語モデルを用いた日本語方言のロバスト性評価
• Abstract要約: 音声言語モデル(SLM)は、大規模言語モデル(LLM)と音声処理コンポーネントを統合する。 本研究では,日本語方言を用いたSLMとLSMの方言的堅牢性について検討した。 実験の結果,SLMのロバスト性はテキストベースと相関していることがわかった。
• 参考スコア（独自算出の注目度）: 27.16462631523899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue systems based on large language models (LLMs) have advanced significantly in recent years. However, dialectal variation remains a major challenge, particularly for systems that process spoken input. LLM-based speech language models (SLMs), which integrate LLMs with speech processing components, show promise for spoken language tasks, yet their ability to comprehend dialects has not been sufficiently studied. Moreover, it remains unclear how the dialectal understanding of the base LLM affects SLM performance. This study investigates the dialectal robustness of both LLMs and SLMs using Japanese dialects as a test case. We define robustness as the ratio of performance on dialectal versus standard inputs, enabling fair comparisons. Our experiments show that SLM robustness correlates with that of their text-based counterparts. Furthermore, training with dialectal data and fine-tuning the speech encoder each improves robustness in SLMs.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)に基づく対話システムは著しく進歩している。 しかし、特に音声入力を処理するシステムにおいて、方言のバリエーションは依然として大きな課題である。 LLMに基づく音声言語モデル(SLM)は、LLMと音声処理コンポーネントを統合し、音声言語タスクの約束を示すが、方言を理解する能力は十分に研究されていない。 さらに,LLMの方言理解がSLMのパフォーマンスにどのような影響を及ぼすかは,まだ不明である。 本研究では,日本語方言を事例として,LLMとSLMの弁証的堅牢性について検討した。 我々は、ロバストネスを方言と標準入力のパフォーマンスの比率として定義し、公正な比較を可能にする。 実験の結果,SLMのロバスト性はテキストベースと相関していることがわかった。 さらに、弁証データを用いて訓練し、音声エンコーダを微調整することで、SLMの堅牢性を向上させる。

関連論文リスト

• LLMs for automatic annotation of Mandarin narrative transcripts [5.563209220962405]
  転写音声の言語アノテーションは、言語習得、言語障害、社会言語学の研究に不可欠である。 本研究では,Large Language Models (LLMs) がマンダリン音声における物語のマクロ構造を確実に注釈できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-17T00:37:25Z)
• Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
  本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。 近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。 以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-25T08:37:55Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Scaling Properties of Speech Language Models [4.0142527158949415]
  音声言語モデル(SLM)は、テキストリソースを使わずに、生音声から言語を学ぶことを目的としている。 テキストベース大規模言語モデル(LLM)の英語習熟度を用いて,現在の手法がSLMを生成するスケールを推定する。
  論文  参考訳（メタデータ） (2024-03-31T13:30:12Z)
• How Does Pretraining Improve Discourse-Aware Translation? [41.20896077662125]
  本稿では,事前学習した言語モデルが会話関係の知識を捉える能力を理解するための探索タスクを提案する。 我々は、エンコーダ-、デコーダ-、およびエンコーダ-デコーダ-ベースモデルの3つの最先端PLMを検証する。 本研究は, PLMにおける言論的知識が下流作業にどのように機能するか, どのように機能するかを理解するための指導的手法である。
  論文  参考訳（メタデータ） (2023-05-31T13:36:51Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。