論文の概要: Lost in Transcription: How Speech-to-Text Errors Derail Code Understanding

• arxiv url: http://arxiv.org/abs/2601.15339v1
• Date: Tue, 20 Jan 2026 14:34:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.362358
• Title: Lost in Transcription: How Speech-to-Text Errors Derail Code Understanding
• Title（参考訳）: 転写における損失: 音声からテキストへの誤りがコードの理解を損なう方法
• Authors: Jayant Havare, Ashish Mittal, Srikanth Tamilselvam, Ganesh Ramakrishnan,
• Abstract要約: 本研究では,音声クエリをユーザネイティブ言語で受け付ける,コード理解のための音声駆動フレームワークを開発する。 我々は,書き起こし誤りが下流タスクのパフォーマンスに与える影響を系統的に特徴づける。 本研究は,音声インタフェースにおけるコードセンシティブ適応の必要性を裏付けるものである。
• 参考スコア（独自算出の注目度）: 16.695144374746622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code understanding is a foundational capability in software engineering tools and developer workflows. However, most existing systems are designed for English-speaking users interacting via keyboards, which limits accessibility in multilingual and voice-first settings, particularly in regions like India. Voice-based interfaces offer a more inclusive modality, but spoken queries involving code present unique challenges due to the presence of non-standard English usage, domain-specific vocabulary, and custom identifiers such as variable and function names, often combined with code-mixed expressions. In this work, we develop a multilingual speech-driven framework for code understanding that accepts spoken queries in a user native language, transcribes them using Automatic Speech Recognition (ASR), applies code-aware ASR output refinement using Large Language Models (LLMs), and interfaces with code models to perform tasks such as code question answering and code retrieval through benchmarks such as CodeSearchNet, CoRNStack, and CodeQA. Focusing on four widely spoken Indic languages and English, we systematically characterize how transcription errors impact downstream task performance. We also identified key failure modes in ASR for code and demonstrated that LLM-guided refinement significantly improves performance across both transcription and code understanding stages. Our findings underscore the need for code-sensitive adaptations in speech interfaces and offer a practical solution for building robust, multilingual voice-driven programming tools.
• Abstract（参考訳）: コード理解は、ソフトウェアエンジニアリングツールと開発者ワークフローの基本的な機能である。 しかし、既存のシステムのほとんどは、キーボードを介して対話する英語話者向けに設計されており、特にインドのような地域では、多言語や音声ファーストの設定でアクセシビリティを制限している。 音声ベースのインタフェースは、より包括的モダリティを提供するが、コードを含む音声クエリは、非標準英語の使用、ドメイン固有の語彙、変数や関数名などのカスタム識別子がしばしばコードミックス式と組み合わされるため、独特な課題を示す。 本研究では,ユーザネイティブ言語における音声クエリを受信し,自動音声認識(ASR)を用いて書き起こし,Large Language Models(LLM)を用いたコード認識型ASR出力改善,CodeSearchNet,CoRNStack,CodeQAなどのベンチマークによるコード質問応答やコード検索などのタスクを実行するためのコードモデルとのインタフェースを提案する。 広く話されている4つのIndic言語と英語に着目し、書き起こし誤りが下流タスクのパフォーマンスに与える影響を体系的に特徴づける。 また、コードに対するASRの重要な障害モードを特定し、LLM誘導による改良により、転写とコード理解の両方の段階における性能が大幅に向上することを示した。 本研究は,音声インタフェースにおけるコードセンシティブな適応の必要性を浮き彫りにして,堅牢な多言語音声駆動プログラミングツールを構築するための実用的なソリューションを提供するものである。

関連論文リスト

• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。 提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
  コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。 英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。 我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
  論文  参考訳（メタデータ） (2023-05-31T11:43:16Z)
• Code-Switching without Switching: Language Agnostic End-to-End Speech Translation [68.8204255655161]
  我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。 LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
  論文  参考訳（メタデータ） (2022-10-04T10:34:25Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Code Switched and Code Mixed Speech Recognition for Indic languages [0.0]
  多言語自動音声認識(ASR)システムの訓練は、音響情報と語彙情報が典型的には言語固有のものであるため困難である。 言語識別(LID)に基づく一言語モデルとエンドツーエンドの多言語音声認識システムの性能を比較した。 また,Hindi- English と Bengali- English の相似解法を提案し,それぞれ 21.77 と 28.27 の WER を実現する。
  論文  参考訳（メタデータ） (2022-03-30T18:09:28Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)
• Transformer-Transducers for Code-Switched Speech Recognition [23.281314397784346]
  コード切替音声認識のためのトランスフォーマー・トランスデューサモデルアーキテクチャを用いたエンドツーエンドのASRシステムを提案する。 まず、コードスイッチングの低リソースシナリオを扱うために、2つの補助損失関数を導入する。 第二に,言語ID情報を用いた新しいマスクベースのトレーニング戦略を提案し,文内コードスイッチングに向けたラベルエンコーダのトレーニングを改善する。
  論文  参考訳（メタデータ） (2020-11-30T17:27:41Z)
• Learning not to Discriminate: Task Agnostic Learning for Improving Monolingual and Code-switched Speech Recognition [12.354292498112347]
  本稿では、ドメイン逆学習を用いてタスクモデルを訓練することにより、これまでの作業よりもさらに改善する。 提案手法は,単語誤り率(WER)を3つの言語対に対して単言語およびコード切替テストセットで削減する。
  論文  参考訳（メタデータ） (2020-06-09T13:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。