論文の概要: The Spoken Wikipedia Presentation Corpus
- arxiv url: http://arxiv.org/abs/2609.21676v1
- Date: Fri, 18 Sep 2026 12:13:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.073433
- Title: The Spoken Wikipedia Presentation Corpus
- Title（参考訳）: The Spoken Wikipedia Presentation Corpus
- Abstract要約: 我々は,マルチモーダルASRのためのLLM生成スライドデッキを備えたスポークンウィキペディアコーパスの拡張である,スポークンウィキペディアプレゼンテーションを紹介する。
スライドは、コンテンツ計画とルールベースの設計決定を組み合わせたハイブリッドパイプラインを使用して、LLMセグメントのセクションから作成される。
我々は複数のASRおよび音声言語モデル(SLM)を評価する。
英語はエラー率を低くし、次いでドイツ語とオランダ語が続くが、低リソース言語では性能が低下する。
- 参考スコア（独自算出の注目度）: 17.733933023843537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the Spoken Wikipedia Presentation Corpus, an extension of the Spoken Wikipedia Corpora featuring LLM-generated slide decks for multimodal ASR. Slides are created from LLM-segmented sections using a hybrid pipeline that combines LLM-based content planning with rule-based design decisions. For each section, an LLM generates a slide title, bullet points, a takeaway message, and a visual description that is used to create an illustration. Rule-based matching then selects layouts, themes, and styles to produce the final slides. A vision LLM extracts slide text as Markdown. We evaluate multiple ASR and spoken language models (SLMs). The best model achieves an average micro-WER of 10.23% and an average micro-CER of 6.48% on audio-only inputs. English yields the lowest error rates, followed by German and Dutch, while performance declines across lower-resource languages. Although audio-only baselines are strong, multimodal zero-shot prompting of omni models remains challenging. The aligned slide, text, and audio data show a strong potential to improve recognition through cross-modal context.
- Abstract（参考訳）: 我々は,マルチモーダル ASR 用の LLM 生成スライドデッキを備えた Spoken Wikipedia Corpora の拡張である Spoken Wikipedia Presentation Corpus を提示する。
スライドは、LLMベースのコンテンツプランニングとルールベースの設計決定を組み合わせたハイブリッドパイプラインを使用して、LLMセグメントのセクションから作成される。
各セクションについて、LCMはスライドタイトル、弾丸ポイント、離陸メッセージ、イラストを作成するために使用される視覚的記述を生成する。
ルールベースのマッチングは、レイアウト、テーマ、スタイルを選択して、最終的なスライドを生成する。
視覚LLMは、Markdownとしてスライドテキストを抽出する。
我々は複数のASRおよび音声言語モデル(SLM)を評価する。
最高のモデルでは、平均マイクロWERは10.23%、平均マイクロCERは6.48%である。
英語はエラー率を低くし、次いでドイツ語とオランダ語が続くが、低リソース言語では性能が低下する。
音声のみのベースラインは強いが、Omniモデルのマルチモーダルゼロショットプロンプトは依然として困難である。
一致したスライド、テキスト、オーディオデータは、クロスモーダルコンテキストによる認識を改善する強力な可能性を示している。
関連論文リスト
- JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions [66.71387365429062]
JASTINは命令駆動型オーディオ評価フレームワークである。
自己指示型推論タスクとして音声アセスメントを定式化する。
音声、音、音楽、ドメイン外評価タスクでMLLMを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-06T05:18:42Z) - BOOM: Beyond Only One Modality KIT's Multimodal Multilingual Lecture Companion [56.41649972542962]
講義音声とスライドを共同で翻訳し、3つのモードで同期出力を生成する多言語講義コンパニオンである textbfBOOM を提示する。
実験により,スライド対応文字起こしは,要約や質問応答といった下流タスクにカスケード効果をもたらすことが示された。
論文 参考訳（メタデータ） (2025-12-02T14:27:26Z) - ALAS: Measuring Latent Speech-Text Alignment For Spoken Language Understanding In Multimodal LLMs [11.696352577108211]
ALAS(Automatic Latent Alignment Score)は、トランスフォーマー層間の音声とテキストの表現の相関を測定することでアライメントを評価するメトリクスである。
Spoken Question Answering and Emotion Recognitionの実験によると、ALASはタスクやレイヤ間で意味のあるパターンをキャプチャする。
論文 参考訳（メタデータ） (2025-05-26T13:02:44Z) - LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM [35.443850239910866]
本稿では、低レイテンシで高品質な音声を生成する軽量で自己回帰型ストリーミングTSシステムを提案する。
提案手法は,音声対応LLMに比べて単語誤り率を著しく低くし,レイテンシとUTMOSスコアに匹敵する操作を行う。
論文 参考訳（メタデータ） (2025-03-06T18:59:38Z) - Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models [7.213221003652941]
本稿では,凍結MLLMを用いたゼロショットVMRのためのチューニング不要パイプラインであるMoment-GPTを提案する。
我々はまずLLaMA-3を用いて言語バイアスを軽減するためにクエリの修正と表現を行い、その後MiniGPT-v2と組み合わせたスパンジェネレータを設計し、候補スパンを適応的に生成する。
提案手法は,複数の公開データセット上で,最先端のMLLMベースおよびゼロショットモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2025-01-14T09:45:10Z) - HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。
視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。
実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-20T18:59:59Z) - Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
Video-Text to Speech (VTTS) は、会話者のテキストとビデオの両方に条件付けされた音声生成タスクである。
視覚,テキスト,音声の入力を共有部分空間に埋め込む,マルチモーダルデコーダのみの統合トランスフォーマモデルであるVisatronicを導入する。
LRS3でのみ訓練されたSOTA法よりも優れた4.5%のWERが得られることを示す。
論文 参考訳（メタデータ） (2024-11-26T18:57:29Z) - Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。
We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。
提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
論文 参考訳（メタデータ） (2024-09-13T07:28:28Z) - Prompting Large Language Models with Audio for General-Purpose Speech Summarization [13.415189715216354]
大規模言語モデル(LLM)の処理と推論機能を活用した音声要約フレームワークを提案する。
本稿では,LLM が解釈可能なトークン表現に変換する音声エンコーダと命令調整 LLM を組み合わせたエンドツーエンドシステムを提案する。
論文 参考訳（メタデータ） (2024-06-10T02:04:28Z) - Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。
我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。
テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文 参考訳（メタデータ） (2023-12-30T14:20:04Z) - HowToCaption: Prompting LLMs to Transform Video Annotations at Scale [72.69268311756082]
本稿では,大言語モデル(LLM)の能力を活用して,大規模ビデオに対応する高品質な映像記述を実現することを提案する。
本稿では,より長い字幕テキストを考慮に入れたプロンプト手法を提案する。
我々は、HowTo100Mデータセットの字幕にメソッドを適用し、新しい大規模データセット、HowToCaptionを作成します。
論文 参考訳（メタデータ） (2023-10-07T19:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。