論文の概要: Vision-Grounded Machine Interpreting: Improving the Translation Process through Visual Cues

• arxiv url: http://arxiv.org/abs/2509.23957v1
• Date: Sun, 28 Sep 2025 16:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.552829
• Title: Vision-Grounded Machine Interpreting: Improving the Translation Process through Visual Cues
• Title（参考訳）: ヴィジュアル・グラウンド・マシンの解釈:ビジュアル・キューによる翻訳プロセスの改善
• Authors: Claudio Fantinuoli,
• Abstract要約: Vision-Grounded Interpreting (VGI) は、一元的機械解釈の限界に対処するために設計された新しい手法である。 本稿では,Webカメラからの音声入力と視覚入力の両方を処理するために,視覚言語モデルを統合するプロトタイプシステムを提案する。 本手法の有効性を評価するため,3種類のあいまいさを対象とする手作り診断コーパスを構築した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Interpreting systems are currently implemented as unimodal, real-time speech-to-speech architectures, processing translation exclusively on the basis of the linguistic signal. Such reliance on a single modality, however, constrains performance in contexts where disambiguation and adequacy depend on additional cues, such as visual, situational, or pragmatic information. This paper introduces Vision-Grounded Interpreting (VGI), a novel approach designed to address the limitations of unimodal machine interpreting. We present a prototype system that integrates a vision-language model to process both speech and visual input from a webcam, with the aim of priming the translation process through contextual visual information. To evaluate the effectiveness of this approach, we constructed a hand-crafted diagnostic corpus targeting three types of ambiguity. In our evaluation, visual grounding substantially improves lexical disambiguation, yields modest and less stable gains for gender resolution, and shows no benefit for syntactic ambiguities. We argue that embracing multimodality represents a necessary step forward for advancing translation quality in machine interpreting.
• Abstract（参考訳）: 機械解釈システムは、現在、言語信号に基づいて翻訳を処理し、一様でリアルタイムな音声合成アーキテクチャとして実装されている。 しかし、そのような単一モダリティへの依存は、曖昧さと妥当性が視覚的、状況的、現実的な情報などの付加的な手段に依存する文脈におけるパフォーマンスを制約する。 本稿では,非モーダル機械解釈の限界に対処する新しい手法であるVision-Grounded Interpreting (VGI)を紹介する。 本稿では,Webカメラからの音声入力と視覚入力の両方を処理する視覚言語モデルを統合するプロトタイプシステムを提案する。 本手法の有効性を評価するため,3種類のあいまいさを対象とする手作り診断コーパスを構築した。 評価では,視覚的グラウンドリングは語彙の曖昧さを著しく改善し,性別の解決に適度で,安定したゲインを得られるとともに,構文的曖昧さのメリットも示さない。 機械解釈における翻訳品質向上には,マルチモーダリティの導入が必要なステップである,と我々は主張する。

関連論文リスト

• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• Image Translation as Diffusion Visual Programmers [52.09889190442439]
  Diffusion Visual Programmer (DVP) は、ニューロシンボリックな画像翻訳フレームワークである。 我々のフレームワークはGPTアーキテクチャ内に条件フレキシブル拡散モデルをシームレスに組み込む。 大規模な実験は、DVPの卓越したパフォーマンスを示し、同時に芸術を超越している。
  論文  参考訳（メタデータ） (2024-01-18T05:50:09Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)
• ViLTA: Enhancing Vision-Language Pre-training through Textual Augmentation [35.05755930636518]
  画像とテキストのペア間の微細な表現をより容易に学習するための2つのコンポーネントからなるViLTAを提案する。 Masked Language Modeling (MLM) では,モデルの堅牢性を高めるために,ソフトラベルを生成するクロス蒸留法を提案する。 画像テキストマッチング(ITM)では、現在の言語エンコーダを利用して、言語入力のコンテキストに基づいてハードネガティブを合成する。
  論文  参考訳（メタデータ） (2023-08-31T12:46:36Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。