論文の概要: Are you speaking my languages? On spoken language adherence in multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.17281v1
• Date: Mon, 15 Jun 2026 20:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.139188
• Title: Are you speaking my languages? On spoken language adherence in multimodal LLMs
• Title（参考訳）: 私の言語を話しているか?マルチモーダルLLMにおける話し言葉の順守について
• Authors: Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic,
• Abstract要約: 大言語モデル(LLM)に基づく自動音声認識(ASR)は、シームレスな多言語使用を可能にする。 モデルはしばしば出力言語を誤認し、書き起こしの忠実さと下流のアプリケーション品質を妥協する。 出力を厳密に制約することなく、潜在的な音声言語にヒントを与えるソフトプロンプト手法を提案する。
• 参考スコア（独自算出の注目度）: 1.554397085362411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Model (LLM) based Automatic Speech Recognition (ASR) enables seamless multilingual use, models often misidentify the output language, compromising transcription fidelity and downstream application quality. To preserve flexibility and code-switching capabilities, we propose a soft prompting approach that hints at potential spoken languages without strictly constraining the output. We formally define this challenge as a lack of language adherence, introduce a novel metric to quantify violations, and evaluate three mitigation strategies: (1) zero-shot prompting for robust guidance under uncertainty, (2) supervised fine-tuning (SFT) to improve prompt adherence, and (3) Chain-of-Thought (CoT) reasoning to enforce adherence during decoding. We present a comparative analysis of these methods across multiple languages, evaluating effectiveness in reducing the language violation while maintaining overall ASR performance. Finally, we discuss trade-offs to guide strategy selection under various compute constraints.
• Abstract（参考訳）: 大言語モデル(LLM)に基づく自動音声認識(ASR)はシームレスな多言語使用を可能にするが、モデルはしばしば出力言語を誤認し、書き起こしの忠実さと下流のアプリケーション品質を損なう。 柔軟性とコードスイッチング能力を維持するため,出力を厳格に拘束することなく,潜在的な音声言語にヒントを与えるソフトプロンプト手法を提案する。 我々は、この課題を言語順守の欠如と定義し、違反の定量化のための新しい指標を導入し、不確実性の下での堅牢なガイダンスのためのゼロショットプロンプト(ゼロショットプロンプト)、2プロンプト順守のための監督された微調整(SFT)、デコード中の順守を強制するチェーン・オブ・ソート(CoT)の3つの緩和戦略を評価する。 本稿では,これらの手法を複数の言語で比較分析し,ASR性能を維持しつつ,言語違反の低減効果を評価する。 最後に,様々な計算制約の下で戦略選択を導くためのトレードオフについて議論する。

関連論文リスト

• From Script to Semantics: Prompting Strategies for African NLI [1.0705399532413615]
  本稿では,スワヒリ,ヨルバ,ハウサにおける自然言語推論(NLI)の促進戦略の体系的研究について述べる。 私たちはBaseline(ゼロショット)、Script-Aware、Language Specific、Contrastive、NL-STP(Native-Label Self-Translation)の5つのプロンプト戦略を評価する。 いくつかの構成では、中性なクラス崩壊と高い予測スキューを伴う戦略間で、クラスワイズの性能に有意な差が認められる。
  論文  参考訳（メタデータ） (2026-06-02T08:20:10Z)
• LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance [77.58408743830314]
  強化学習は大規模言語モデルにおける多段階推論の強化に有効であることが証明されている。 しかし、その利点は多言語文脈に完全には翻訳されていない。 我々は、言語条件付きヒントを利用して、英語以外の推論タスクの探索をガイドする新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-05-21T14:47:52Z)
• Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs [4.881694369042022]
  Smoothie-Qwenは、リトレーニングなしに言語のバイアスを軽減する軽量でポストホックな方法である。 提案手法はQwenモデルに適用し,意図しない中国語の出力を95%以上削減する。
  論文  参考訳（メタデータ） (2025-07-08T05:30:51Z)
• AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
  AdaMCOTは多言語の事実推論を強化するフレームワークである。 AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。 本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。