論文の概要: VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering

• arxiv url: http://arxiv.org/abs/2609.19879v1
• Date: Thu, 17 Sep 2026 08:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.167201
• Title: VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering
• Title（参考訳）: VākQA:Telugu Spoken Factoid Question Answeringのベンチマークと評価
• Abstract要約: VkQAは6つの領域にまたがる2,001のファクトイド質問応答対のTelugu SQAベンチマークである。 まず,人間の判断に対する評価手法を検証する。 入力モダリティ、言語、ドメインにわたって、プロプライエタリでオープンなモデルをベンチマークします。
• 参考スコア（独自算出の注目度）: 2.6343240602412354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering has advanced rapidly with large language models, but predominantly for high-resource languages, in both text and spoken settings. Spoken question answering (SQA) benchmark for Telugu remains unexplored, and the reliability of automatic evaluation in this setting remains unquantified. We introduce VākQA, a Telugu SQA benchmark of 2,001 factoid question-answer pairs across six domains, with 2.53 hours of speech audio, bilingual transcriptions, and human-verified reference answers. We first validate evaluation methods against human judgements: Gemini-as-a-judge best approximates human ratings but is non-uniformly strict, while open-weight judges systematically penalize correct Telugu answers that differ in surface form from the reference. Using this validated setup, we benchmark proprietary and open-weight models across input modality, language, and domain. We observe that Telugu phrasing retains cultural specificity that is lost in translation, speech input introduces phonetic confusions that alter question meaning, and cascaded ASR-MT errors compound progressively. VākQA is publicly released.
• Abstract（参考訳）: 質問応答は大きな言語モデルで急速に進歩しているが、主にテキストと音声の両方で、高ソース言語に向いている。 照会質問応答(SQA)ベンチマークはいまだ探索されておらず、この設定における自動評価の信頼性はいまだに不明である。 VākQAは6つの領域にまたがる2,001のファクトイドの質問応答対で、2.53時間の音声音声、バイリンガル文字起こし、人間の検証された参照回答を提供する。 Gemini-as-a-judgeは人間の評価を最もよく近似するが、不均一に厳格である一方、オープンウェイト判事は、基準と異なる表面形状の正しいテルグ回答を体系的に罰する。 この検証済みのセットアップを使用して、入力モダリティ、言語、ドメインにまたがるプロプライエタリおよびオープンウェイトモデルのベンチマークを行う。 我々は,翻訳において失われる文化的特異性を維持し,音声入力は質問の意味を変化させる音韻的混乱を導入し,ASR-MTの誤りが徐々に複雑化するのを観察した。 VākQAは一般公開されている。

関連論文リスト

• TeSent: A Benchmark Dataset for Fairness-aware Explainable Sentiment Classification in Telugu [0.0]
  インド亜大陸では、テルグ語はインドの6つの古典言語の一つである。 全世界で9900万の話者ベースを抱えるTeluguは、グローバルなNLPと機械学習の世界では、いまだに不足している。
  論文  参考訳（メタデータ） (2025-08-02T20:42:37Z)
• Just ASR + LLM? A Study on Speech Large Language Models' Ability to Identify and Understand Speaker in Spoken Dialogue [41.10328851671422]
  SpeechLLMは、ガオカオのようなベンチマークで印象的な音声対話質問応答(SQA)性能を示した。 本研究では,音声からの話者認識に制限があり,音声のない会話の書き起こしからLLMに類似した振る舞いを示す。 我々は,SQAにおけるSpeechLLMのより正確な評価フレームワークとして,アイデンティティクリティカルな質問に焦点をあてたタスクを提案する。
  論文  参考訳（メタデータ） (2024-09-07T22:54:47Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。 我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• QUDEVAL: The Evaluation of Questions Under Discussion Discourse Parsing [87.20804165014387]
  Questions Under discussions (QUD) は、言論を継続的に質問し、答えるように進行する多目的言語フレームワークである。 本研究はQUD解析の自動評価のための最初のフレームワークを紹介する。 細調整されたシステムとLLMの両方から生成された2,190のQUD質問のきめ細かい評価データセットであるQUDevalを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:03:58Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• SD-QA: Spoken Dialectal Question Answering for the Real World [15.401330338654203]
  われわれは5つの言語(アラビア語、ベンガル語、英語、キスワヒリ語、韓国語)で68k以上の音声プロンプトを、255人の話者から24の方言で作成する。 本稿では,QAシステムの実環境性能を示すベースライン結果を提供し,下流性能に対する言語多様性やその他の感性的話者属性の影響を解析する。 最後に,ASRモデルとQAモデルの妥当性について,基礎となるユーザ数について検討する。
  論文  参考訳（メタデータ） (2021-09-24T16:54:27Z)
• Counterfactual VQA: A Cause-Effect Look at Language Bias [117.84189187160005]
  VQAモデルは、ショートカットとして言語バイアスに依存し、視覚と言語の両方からマルチモーダルな知識を十分に学ばない傾向にある。 本稿では,質問に対する直接的な因果的影響として,言語バイアスを捉えることのできる,新たな反事実推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-08T01:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。