論文の概要: IndicFDB: Benchmarking Full-Duplex Voice Agents across Indian Languages

• arxiv url: http://arxiv.org/abs/2609.31967v1
• Date: Fri, 25 Sep 2026 20:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:18:19.932081
• Title: IndicFDB: Benchmarking Full-Duplex Voice Agents across Indian Languages
• Title（参考訳）: IndicFDB: インドの言語にまたがるフル二重音声エージェントのベンチマーク
• Abstract要約: 音声における会話イベントの発見は,単語レベルの信頼性のないタイミング評価,言語間の応答の判断という3つの課題に対処する。 約5万時間のチャンネル会話のサンプルを、一時停止処理、ターンテイク、バックチャネルで評価します。
• 参考スコア（独自算出の注目度）: 25.33718503147223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-duplex voice agents must handle pauses, take turns, backchannel, and respond to user interruptions in real time. Full-Duplex-Bench evaluates these behaviors, but its English-only corpus and reliance on word-timestamped ASR and an English-prompted LLM judge make it difficult to extend to Indian languages. We introduce IndicFDB, which extends it to ten languages spoken in India with 12,350 samples, nearly 17 times as many as the original. We address three challenges: finding conversational events in multilingual speech, evaluating their timing without reliable word-level alignment, and judging responses across languages. We mine pause handling, turn taking, and backchanneling samples from roughly 50,000 hours of channel-separated conversations using voice activity detection (VAD), and construct human-validated synthetic user interruption samples. Language-independent VAD heuristics evaluate timing, while an open-weight transcription and translation pipeline converts responses to English for LLM ratings of relevance and quality. Across seven voice agents, commercial APIs show unexpectedly consistent behavior across languages but are either fast or robust to pauses, never both, while monolingual open full-duplex models expose further tradeoffs among backchanneling, response quality, and latency.
• Abstract（参考訳）: フル二重音声エージェントは、一時停止、切替、バックチャネルの処理、ユーザの割り込みへの応答をリアルタイムで行う必要がある。 Full-Duplex-Bench はこれらの行動を評価するが、英語のみのコーパスと単語タイムスタンプ ASR に依存し、LLM の裁判官はインド語への拡張を困難にしている。 IndicFDBを導入し、12350のサンプルでインドで話されている10の言語に拡張した。 我々は,多言語音声における会話イベントの発見,信頼度の高い単語レベルのアライメントを伴わないタイミングの評価,言語間の応答の判断という3つの課題に対処する。 音声活動検出(VAD)を用いて,約5万時間のチャンネル分離された会話から,ポーズ処理,ターンテイク,バックチャネルのサンプルを抽出し,人為的な合成ユーザ中断サンプルを構築した。 言語に依存しないVADヒューリスティックスはタイミングを評価し、オープンウェイトな書き起こしおよび翻訳パイプラインは、LLMの関連性と品質のレーティングに対して応答を英語に変換する。 7つのボイスエージェントにまたがって、商用APIは言語間で予期せぬ一貫した振る舞いを示すが、停止に対して高速または堅牢である一方、モノリンガルなフルダブルプレックスモデルはバックチャネル、応答品質、レイテンシの間のさらなるトレードオフを露呈する。

関連論文リスト

• IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages [0.6980863185266349]
  IndicTalkは、多言語対応のIndicコード混在会話コーパスとしては最大級である。 9つのIndic言語をカバーする18の言語で13,28,604以上のイベント地上でのマルチターン会話で構成されている。 未表現のIndic言語のための多言語対話型AIの開発と評価を支援するため、IndicTalkをリリースする。
  論文  参考訳（メタデータ） (2026-07-25T14:56:15Z)
• MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
  多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。 この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。 本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:39:01Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• VoiceAgentBench: Are Voice Assistants ready for agentic tasks? [5.639970295197759]
  本稿では,現実的な音声エージェント設定におけるSpeechLMの評価ベンチマークであるVoiceAgentBenchを紹介する。 インドの文脈に根ざした5,500以上の合成音声クエリで構成されている。 ツール選択の正確性、構造的整合性、ツールの実行の正しさを測定する。
  論文  参考訳（メタデータ） (2025-10-09T09:11:38Z)
• Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR [23.285609467633865]
  本稿では、多言語連続会話自動音声認識(ASR)を改善するために、言語固有の双方向コンテキストを音声大言語モデル(SLLM)に統合する。 トレーニング中の文字レベルのコンテキストマスキング戦略を提案する。これにより、コンテキストの一部がランダムに除去され、堅牢性が向上し、推論中に発生する可能性のある欠陥のある文字のエミュレートが向上する。
  論文  参考訳（メタデータ） (2025-06-16T12:03:23Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Code-Switching without Switching: Language Agnostic End-to-End Speech Translation [68.8204255655161]
  我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。 LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
  論文  参考訳（メタデータ） (2022-10-04T10:34:25Z)
• ADIMA: Abuse Detection In Multilingual Audio [28.64185949388967]
  音声テキストにおける乱用コンテンツ検出は、音声認識(ASR)を実行し、自然言語処理の進歩を活用することで対処することができる。 ADIMAは,言語学的に多様であり,倫理的にも特徴的であり,注釈付きかつバランスの取れた多言語多義性検出音声データセットである。
  論文  参考訳（メタデータ） (2022-02-16T11:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。