論文の概要: Beyond Words Alone: Disentangling Distributed Evidence for Visually Grounded Cultural Translation

• arxiv url: http://arxiv.org/abs/2610.35482v1
• Date: Mon, 26 Oct 2026 14:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.023174
• Title: Beyond Words Alone: Disentangling Distributed Evidence for Visually Grounded Cultural Translation
• Title（参考訳）: 言葉を超えて:視覚的な文化翻訳のための分散エビデンスを解消する
• Abstract要約: ソーシャルメディアは言語間コミュニケーションを可能にするが、ユーザ生成コンテンツ(UGC)の意味はしばしばテキスト、画像、文化知識に分散している。 既存の評価では、画像はオプションとして扱い、テキスト情報は十分であると仮定し、エラーが視覚的証拠の欠如に起因するか、文化的な適応が不十分であるかを判断する。 ソーシャルメディア翻訳におけるテキスト・エビデンス・プラグマティック・再構築のための診断ベンチマークである textbfCulture-MMT を導入する。
• 参考スコア（独自算出の注目度）: 40.62310323624779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social media enables cross-lingual communication, yet the meaning of user-generated content (UGC) is often distributed across text, images, and cultural knowledge, making translation challenging. Existing evaluations typically treat images as optional and assume textual information is sufficient, obscuring whether errors stem from missing visual evidence or inadequate cultural adaptation. We introduce \textbf{Culture-MMT}, a diagnostic benchmark for \textbf{distributed-evidence pragmatic reconstruction} in social-media translation. It contains 498 curated, de-identified UGC instances across 20 domains, categorized into Symbol, Visual, and Hybrid by their required evidence. We also develop a human-aligned domain-specific judge, Judger, and a controlled evaluation framework that systematically varies the evidence available to translators. Across 17 model configurations, real images improve performance by +0.280 on Visual and +0.197 on Hybrid, but only +0.050 on Symbol, while random images provide no comparable gains. Human-authored descriptions further show that jointly dependent cases remain more challenging even when visual facts are explicit. These results characterize culturally effective social-media translation as {meaning reconstruction from distributed evidence}, highlighting visual grounding and cultural-pragmatic adaptation as distinct model bottlenecks.
• Abstract（参考訳）: ソーシャルメディアは言語間のコミュニケーションを可能にするが、ユーザ生成コンテンツ(UGC)の意味はしばしばテキスト、画像、文化知識に分散し、翻訳を困難にしている。 既存の評価では、画像はオプションとして扱い、テキスト情報は十分であると仮定し、エラーが視覚的証拠の欠如に起因するか、文化的な適応が不十分であるかを判断する。 本稿では,ソーシャルメディア翻訳における「textbf{distributed-evidence pragmatic reconstruction}」の診断ベンチマークである「textbf{Culture-MMT}」を紹介する。 20のドメインにまたがる498のキュレートされた、未同定のUGCインスタンスが含まれており、必要な証拠によってシンボル、ビジュアル、ハイブリッドに分類される。 また,翻訳者に対して利用可能な証拠を体系的に変更する,人手によるドメイン固有判断器,判断器,および制御された評価枠組みを開発する。 17のモデル構成で、実画像はVisualでは+0.280、Hybridでは+0.197、Symbolでは+0.050、ランダム画像では同等の利得が得られない。 人間による記述は、視覚的な事実が明確であっても、共同依存のケースはより困難なままであることを示している。 これらの結果は、文化的に有効なソーシャルメディア翻訳を「分散エビデンスからの再構築」と表現し、視覚的基盤化と文化的・実践的な適応を異なるモデルボトルネックとして強調した。

関連論文リスト

• Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers [51.19177300042174]
  その結果,レトリバーの性能はモダリティの構成に非常に敏感であることがわかった。 本稿では,各文書のテキスト,画像,融合されたテキストイメージビューを同値な肯定値として構成するTridentを紹介する。 実験により, TridentはCLIPおよびVLMアーキテクチャの混合モダリティ検索を改善することが示された。
  論文  参考訳（メタデータ） (2026-10-08T12:21:08Z)
• Towards Explainable Bilingual Multimodal Misinformation Detection and Localization [64.37162720126194]
  BiMiは、地域レベルのローカライゼーション、言語間および言語間整合性検出、誤情報解析のための自然言語説明を共同で行うフレームワークである。 BiMiBenchは、実際のニュース画像とサブタイトルを体系的に編集するベンチマークである。 BiMiは、分類精度が+8.9で、ローカライゼーション精度が+15.9で、BERTScoreを+2.5で上回る。
  論文  参考訳（メタデータ） (2025-06-28T15:43:06Z)
• CaMMT: Benchmarking Culturally Aware Multimodal Machine Translation [47.54347964192231]
  本稿では,5800枚以上の画像のベンチマークであるCaMMTと,英語と地域語でのパラレルキャプションを紹介する。 自動的および人的評価により、視覚的コンテキストは一般的に翻訳品質を改善する。
  論文  参考訳（メタデータ） (2025-05-30T10:42:44Z)
• Deconstructing Bias: A Multifaceted Framework for Diagnosing Cultural and Compositional Inequities in Text-to-Image Generative Models [3.6335172274433414]
  本稿では,CIS(Component Inclusion Score)を指標として,文化的文脈における画像生成の忠実度を評価する。 我々は、構成的脆弱性と文脈的不整合の観点からバイアスを定量化し、西洋と非西洋の文化的プロンプトの間に顕著なパフォーマンスのギャップを浮き彫りにする。
  論文  参考訳（メタデータ） (2025-04-05T06:17:43Z)
• Towards Equitable Representation in Text-to-Image Synthesis Models with the Cross-Cultural Understanding Benchmark (CCUB) Dataset [8.006068032606182]
  本稿では,小さいが文化的にキュレートされたデータセットを用いて,テキストと画像の合成を文化的に認識するプライミング手法を提案する。 実験の結果, テキストと画像の両方を用いたプライミングは, 文化的関連性の向上と, 生成画像の攻撃性低下に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T03:10:33Z)
• How well can Text-to-Image Generative Models understand Ethical Natural Language Interventions? [67.97752431429865]
  倫理的介入を加える際の画像の多様性への影響について検討した。 予備研究は、モデル予測の大きな変化が「性別の無視」のような特定のフレーズによって引き起こされることを示している。
  論文  参考訳（メタデータ） (2022-10-27T07:32:39Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。