論文の概要: ScreenASR-Bench: A Tiered Benchmark for Speech Recognition with Visual Context

• arxiv url: http://arxiv.org/abs/2610.16260v1
• Date: Mon, 12 Oct 2026 06:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.319417
• Title: ScreenASR-Bench: A Tiered Benchmark for Speech Recognition with Visual Context
• Title（参考訳）: ScreenASR-Bench:ビジュアルコンテキストによる音声認識のための階層ベンチマーク
• Abstract要約: 現在のASRモデルは一般的なベンチマークではよく機能するが、それでも音響的にあいまいな単語に苦戦している。 視覚的コンテキストは、画面ベースのシナリオでの認識に役立つが、既存のベンチマークは、様々な種類の視覚的エビデンスの利点について限定的な洞察を提供する。 スクリーンASR-Benchは,画面上で直接テキストをベースとしたETE (Explicit Textual Evidence) ,画面上のテキストではなく可視コンテンツを用いたEVE (Explicit Visual Evidence) ,シーンレベルの推論を必要とするImlicit Semantic Evidence (ISE) の3つの段階からなる,段階的に困難なベンチマークである。
• 参考スコア（独自算出の注目度）: 12.10332310843935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current ASR models perform well on general benchmarks but still struggle with acoustically ambiguous words. Visual context can aid recognition in screen-based scenarios, yet existing benchmarks provide limited insight into the benefits of different types of visual evidence. To address this gap, we introduce ScreenASR-Bench , a tiered benchmark with three progressively challenging levels: Explicit Textual Evidence (ETE), based on direct on-screen text; Explicit Visual Evidence (EVE), using visible content rather than on-screen text; and Implicit Semantic Evidence (ISE), requiring scene-level inference. Extensive experiments on ASR models, Large Audio-Language Models (LALMs) and Omni models show that incorporating visual context substantially improves recall over the audio-only setting across all three model families. The gains are largest for ETE and smallest for ISE, indicating that models leverage direct visual evidence more effectively than indirect semantic cues. To facilitate future research on visually grounded speech recognition, we publicly release ScreenASR-Bench.
• Abstract（参考訳）: 現在のASRモデルは一般的なベンチマークではよく機能するが、それでも音響的にあいまいな単語に苦戦している。 視覚的コンテキストは、画面ベースのシナリオでの認識に役立つが、既存のベンチマークは、様々な種類の視覚的エビデンスの利点について限定的な洞察を提供する。 このギャップに対処するために、スクリーンASR-Benchは、直接オンスクリーンテキストに基づく明示的テキスト証拠(ETE)、画面上のテキストではなく可視コンテンツを使用する明示的ビジュアル証拠(EVE)、シーンレベルの推論を必要とするインプリシトセマンティック証拠(ISE)の3つの段階からなる、段階的に困難なベンチマークである。 ASRモデル、LALM(Large Audio-Language Models)、Omniモデルに対する大規模な実験は、視覚的コンテキストを組み込むことで、3つのモデルファミリーすべてにわたるオーディオのみの設定よりもリコールを大幅に改善することを示している。 利得はETEで最大であり、ISEでは最小であり、間接的セマンティックキューよりも直接的視覚的エビデンスを効果的に活用していることを示している。 視覚的音声認識の今後の研究を容易にするために,ScreenASR-Benchを公開リリースする。

関連論文リスト

• EPIC-Bench: A Perception-Centric Benchmark for Fine-Grained Embodied Visual Grounding in Vision-Language Models [39.77362541405281]
  EPIC-Benchは、大規模視覚言語モデル(VLM)の基盤ベンチマークである。 実環境におけるVLMの視覚知覚能力を体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-16T16:38:51Z)
• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• KnowDR-REC: A Benchmark for Referring Expression Comprehension with Real-World Knowledge [1.5833270109954136]
  本研究では,実世界の知識に基づいて構築されたKnowDR-RECを提案する。 我々は、KnowDR-REC上で16の最先端マルチモーダルモデルを評価し、既存のMLLMが知識駆動型視覚接地作業に苦戦していることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-08-12T19:43:44Z)
• Robust Audiovisual Speech Recognition Models with Mixture-of-Experts [67.75334989582709]
  EVAを導入し、オーディオVisual ASRのミックス・オブ・エクササイズを利用して、Wildのビデオに対してロバストな音声認識を行う。 まず、視覚情報を視覚トークンシーケンスにエンコードし、それらを軽量な投影により音声空間にマッピングする。 実験により,本モデルが3つのベンチマークで最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-09-19T00:08:28Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。 既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。 本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Looking Enhances Listening: Recovering Missing Speech Using Images [40.616935661628155]
  本稿では,雑音条件下での視覚的モダリティの有用性を示す一連の実験について述べる。 この結果から,マルチモーダル ASR モデルでは,入力音響信号に隠蔽された単語を,視覚的表現を用いて接地することで復元できることがわかった。
  論文  参考訳（メタデータ） (2020-02-13T17:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。