論文の概要: Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding

• arxiv url: http://arxiv.org/abs/2608.26925v1
• Date: Thu, 27 Aug 2026 10:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.355806
• Title: Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding
• Title（参考訳）: 視覚的接地のみを用いた異なる言語における単語の音声へのマッピング
• Abstract要約: 我々は、ヒンディー語で書かれた英語のキーワードを、その単語の音声的実現にどうマッピングできるかを検討する。 本研究は,言語間単語音声マッピングを視覚的接地から直接学習できることを実証する。
• 参考スコア（独自算出の注目度）: 23.312539472103566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many low-resource settings, even just eliciting speech for data collection is difficult. One promising approach has been to ask speakers to describe images. But how do we build models from such visually grounded speech data? Given a dataset of images with Hindi spoken captions, we consider how we can map a written English keyword to spoken realisations of that word in Hindi. Previous work trained end-to-end multimodal neural models. Instead, we explore a simpler alignment-based approach built on self-supervised speech representations. Written English tags are automatically obtained from images using off-the-shelf image captioning systems. Hindi utterances associated with the same keyword are then aligned (using self-supervised features), and alignment evidence is aggregated to identify recurring speech segments corresponding to the target word. Experiments evaluating keyword spotting and localization show that our alignment-based approach outperforms a previous attention-based neural model. We also show the benefit of incorporating negative examples during alignment. Our work demonstrates that cross-lingual word-to-speech mappings can be learned directly from visual grounding without transcriptions or explicit model training.
• Abstract（参考訳）: 多くの低リソース設定では、単にデータ収集のための音声を抽出することさえ難しい。 有望なアプローチの1つは、話者に画像を記述することである。 しかし、このような視覚的な音声データからモデルを構築するにはどうすればいいのか? ヒンディー語の字幕付き画像のデータセットを考慮し、ヒンディー語におけるその単語の音素認識に英語のキーワードをマッピングする方法を検討する。 以前の作業では、エンドツーエンドのマルチモーダルニューラルネットワークモデルをトレーニングしていた。 代わりに、自己教師付き音声表現に基づくよりシンプルなアライメントに基づくアプローチについて検討する。 オフザシェルフ画像キャプションシステムを用いて、画像から英文タグを自動的に取得する。 そして、同じキーワードに関連付けられたヒンディー語をアライメントし(自己教師付き特徴を用いて)、アライメント証拠を集約して、ターゲット語に対応する繰り返し音声セグメントを識別する。 キーワードスポッティングとローカライゼーションを評価する実験により、我々のアライメントに基づくアプローチは、以前の注意に基づくニューラルモデルよりも優れていることが示された。 また、アライメント中にネガティブな例を組み込むことのメリットも示す。 本研究は,言語間の言語間単語音声マッピングを,文字起こしや明示的なモデルトレーニングを伴わずに,視覚的接地から直接学習できることを実証する。

関連論文リスト

• Connecting Speech to Words through Images [23.312539472103566]
  本稿では,画像と音声記述のみを用いて,単語の語彙を視覚的に構築する手法を提案する。 音声単語の検索とキーワードスポッティング実験において、提案手法はより解釈可能でありながら強力なニューラルネットワークよりも優れている。
  論文  参考訳（メタデータ） (2026-06-15T14:50:42Z)
• Layover or Direct Flight: Rethinking Audio-Guided Image Segmentation [65.7990140284317]
  対象の接地、すなわち、人間の言葉による指示に基づく視覚的シーンへの関心対象の定位に焦点を当てる。 この可能性を探るため、単一単語音声命令の接地に着目してタスクを簡素化する。 以上の結果から,音声からの直接的接地は実現可能であるだけでなく,場合によっては書き起こしに基づく手法よりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2025-11-27T02:00:28Z)
• Translating speech with just images [23.104041372055466]
  既存の画像キャプションシステムを介して、画像とテキストをリンクすることで、この接続を拡張します。 このアプローチは、生成されたキャプションと異なる言語で音声を付加することにより、画像のみを用いた音声翻訳に使用できる。 実際の低リソース言語であるYorub'aについて検討し、Yorub'a-to- English 音声翻訳モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:29:24Z)
• Pixel Aligned Language Models [94.32841818609914]
  我々は、位置を入力または出力として捉えることができる視覚言語モデルを開発した。 位置を入力として取ると、モデルが位置条件付きキャプションを実行し、指定対象または領域のキャプションを生成する。 本モデルでは,人間の注意を反映した画素単語対応キャプションを含むLocalized Narrative データセットを事前学習する。
  論文  参考訳（メタデータ） (2023-12-14T18:57:58Z)
• Visually grounded few-shot word learning in low-resource settings [23.826000011632917]
  そこで本研究では,数組の単語イメージ対から新しい単語とその視覚的描写を学習する音声モデルを提案する。 提案手法では,与えられた単語イメージの例対を用いて,音声と画像の大規模なコレクションから教師なしの単語イメージトレーニングペアを抽出する。 この新しいモデルでは、既存の英語ベンチマークの以前のアプローチよりも少ないショットでより良いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-06-20T08:27:42Z)
• Towards visually prompted keyword localisation for zero-resource spoken languages [27.696096343873215]
  視覚的に誘導されるキーワードローカライゼーション(VPKL)のタスクを定式化する。 VPKLにはキーワードの画像が与えられ、そのキーワードの発声箇所を検出して予測する。 これらの革新は,既存の音声ビジョンモデルよりもVPKLの改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-12T14:17:34Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Attention-Based Keyword Localisation in Speech using Visual Grounding [32.170748231414365]
  我々は,視覚的接地型音声モデルでもキーワードの局所化が可能かどうか検討する。 従来の視覚的基盤モデルよりも注目が大きなパフォーマンス向上をもたらすことを示す。 他の多くの音声画像研究と同様に、不正確な局所化の多くは意味的混乱によるものである。
  論文  参考訳（メタデータ） (2021-06-16T15:29:11Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Seeing wake words: Audio-visual Keyword Spotting [103.12655603634337]
  KWS-Netは、類似マップ中間表現を用いてタスクをシーケンスマッチングとパターン検出に分離する新しい畳み込みアーキテクチャである。 本手法は他の言語,特にフランス語とドイツ語に一般化し,より少ない言語データで英語に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-02T17:57:38Z)
• Visual Grounding in Video for Unsupervised Word Translation [91.47607488740647]
  我々は、言語間の教師なし単語マッピングを改善するために、視覚的接地を用いる。 ネイティブ言語でナレーションされた無人の教育ビデオから埋め込みを学習する。 これらの手法を英語からフランス語、韓国語、日本語への翻訳に適用する。
  論文  参考訳（メタデータ） (2020-03-11T02:03:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。