論文の概要: Whisper-Based Speech Transcription from Videos Across Multiple Languages for Cross-Cultural Understanding
- arxiv url: http://arxiv.org/abs/2609.11772v1
- Date: Thu, 10 Sep 2026 16:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.446444
- Title: Whisper-Based Speech Transcription from Videos Across Multiple Languages for Cross-Cultural Understanding
- Title（参考訳）: 複数の言語にまたがるビデオからのWhisper-based Speech Transcription
- Abstract要約: 異文化間の理解は、今日の高度に結びついた国際的世界においてますます重要になっている。
本稿では,ビデオから複数の言語で音声認識によるテキスト生成を改善する手法を提案する。
YouTubeやWhisperベースのツールから公開されているビデオを用いて、7つの言語(スペイン語、日本語、韓国語、マンダリン語、トルコ語、ロシア語、ヘブライ語)で平均的な転写エラー率が30%である。
- 参考スコア（独自算出の注目度）: 3.0019363846501754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-cultural understanding has become increasingly important in today's highly connected, cross-national world. The success of LLM-based technologies is now driving the development of automated tools to aid understanding for nonnative people trying to succeed in cross-cultural environments. Building such automated tools is often done by leveraging in-thewild text, audio, and video data. This paper presents techniques for improving speech recognition-based transcript creation in multiple languages from videos to better train these automated tools. The focus is on processes and speech tools that can easily be used by cross-cultural tool builders without requiring deep speech processing expertise. Using publicly available videos from YouTube and Whisper-based tools, average transcription error rate across seven languages (Spanish, Japanese, Korean, Mandarin, Turkish, Russian, and Hebrew) of 30% are observed. With a modest amount of fine-tuning data, the average error rate can be reduced to 20% making such output much more usable for downstream processing. Speech and metadata associated with these videos that can be used by the community to further refine these experiments are released as well.
- Abstract（参考訳）: 異文化間の理解は、今日の高度に結びついた国際的世界においてますます重要になっている。
LLMベースの技術の成功は、異文化間の環境で成功しようとする非ネイティブの人々への理解を支援する自動化ツールの開発を推進している。
このような自動化ツールの構築は、内部テキスト、オーディオ、ビデオデータを活用することで行われることが多い。
本稿では、ビデオから複数の言語で音声認識による文字起こしを改良し、これらの自動化ツールを訓練する手法を提案する。
深層的な音声処理の専門知識を必要とせずに、異文化のツールビルダーが容易に利用できるプロセスと音声ツールに重点を置いている。
YouTubeやWhisperベースのツールから公開されているビデオを用いて、7つの言語(スペイン語、日本語、韓国語、マンダリン語、トルコ語、ロシア語、ヘブライ語)で平均的な転写エラー率が30%である。
微調整データの少ない量では、平均誤差率を20%に下げることができるため、下流処理に使用しやすい。
コミュニティがこれらの実験をさらに洗練するために利用できるこれらのビデオに関連する音声とメタデータもリリースされている。
関連論文リスト
- Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts [19.665433846791412]
本稿では、モーダル変換器を介して音声とテキスト情報を統合したソリューションを提案する。
書き起こしを複数の言語に自動翻訳することで、複数のテキストモダリティを作成する。
大規模なデータセット上で実験を行い、自動生成されたテキスト情報によって大幅なパフォーマンス向上が期待できることを示す。
論文 参考訳（メタデータ） (2026-07-07T06:48:23Z) - A Bridge from Audio to Video: Phoneme-Viseme Alignment Allows Every Face to Speak Multiple Languages [60.81571443992153]
音声による会話顔合成(TFS)は、音声入力から顔のアニメーションを生成することに焦点を当てている。
現在のモデルは英語ではうまく機能するが、英語以外の言語では不満足に機能し、間違った口の形と堅い表情を生み出している。
我々は,Phoneme-Guided Mixture-of-Expertsアーキテクチャを特徴とする新しいフレームワークであるMultilingual Experts (MuEx)を提案する。
論文 参考訳（メタデータ） (2025-10-08T03:46:39Z) - Video as the New Language for Real-World Decision Making [100.68643056416394]
ビデオデータは、言語で表現しにくい物理世界に関する重要な情報をキャプチャする。
ビデオは、インターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。
ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定します。
論文 参考訳（メタデータ） (2024-02-27T02:05:29Z) - AnnoTheia: A Semi-Automatic Annotation Toolkit for Audio-Visual Speech
Technologies [0.0]
本稿では,シーンとそれに対応する書き起こしを検知するセミオートマチックなアノテーションツールキットAnnoTheiaを提案する。
興味のある言語のためのAnnoTheia作成の完全なプロセスを示すために,スペイン語に対するアクティブ話者検出のための事前学習モデルの適応についても述べる。
論文 参考訳（メタデータ） (2024-02-20T17:07:08Z) - TRAVID: An End-to-End Video Translation Framework [1.6131714685439382]
本稿では、音声言語を翻訳するだけでなく、翻訳された音声と話者の唇の動きを同期するエンドツーエンドのビデオ翻訳システムを提案する。
本システムは,インド諸言語における教育講義の翻訳に重点を置いており,低リソースのシステム設定においても有効であるように設計されている。
論文 参考訳（メタデータ） (2023-09-20T14:13:05Z) - AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳（メタデータ） (2023-06-22T14:37:54Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳（メタデータ） (2023-06-21T20:54:52Z) - A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In
Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。
提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。
ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文 参考訳（メタデータ） (2023-05-16T19:13:11Z) - Language-agnostic Code-Switching in Sequence-To-Sequence Speech
Recognition [62.997667081978825]
コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。
本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。
さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
論文 参考訳（メタデータ） (2022-10-17T12:15:57Z) - RECOApy: Data recording, pre-processing and phonetic transcription for
end-to-end speech-based applications [4.619541348328938]
RECOApyは、エンドツーエンドの音声ベースのアプリケーションに必要なデータ記録と前処理のステップを合理化する。
このツールは、音声記録、スペクトログラム、波形解析、発話レベルの正規化、サイレントトリミングのための使い易いインタフェースを実装している。
Grapheme-to-phoneme(G2P)コンバータは、Wiktionaryのオンラインコラボレーションリソースから抽出されたレキシコンに基づいてトレーニングされたディープニューラルネットワーク(DNN)ベースのアーキテクチャである。
論文 参考訳（メタデータ） (2020-09-11T15:26:55Z) - CSTNet: Contrastive Speech Translation Network for Self-Supervised
Speech Representation Learning [11.552745999302905]
7000の言語のうち、半数以上が絶滅の危機にさらされている。
音声に対応するテキスト翻訳は比較的容易である。
音声から言語表現を抽出できる畳み込みニューラルネットワークオーディオエンコーダを構築する。
論文 参考訳（メタデータ） (2020-06-04T12:21:48Z) - That Sounds Familiar: an Analysis of Phonetic Representations Transfer
Across Languages [72.9927937955371]
我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。
我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。
分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
論文 参考訳（メタデータ） (2020-05-16T22:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。