論文の概要: When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation

• arxiv url: http://arxiv.org/abs/2609.08156v1
• Date: Tue, 08 Sep 2026 02:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 19:26:19.822396
• Title: When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation
• Title（参考訳）: メトリクスが最悪の翻訳を振り返る時--ソーシャルメディア翻訳評価のための文化的推論の内在化
• Abstract要約: COMET,XCOMET,BERTScoreなどの標準指標は,人的文化的判断とほぼゼロあるいは負の相関を示した。 文化的推論を内包する強化学習フレームワークCuRILを提案する。
• 参考スコア（独自算出の注目度）: 40.50995079894586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic translation quality metrics trained on general-domain corpora systematically fail on social media content, where communicative intent is encoded in culturally loaded expressions (internet slang, homophonic ciphers, and platform-specific idioms) rather than surface token patterns. We conduct a systematic empirical analysis demonstrating that standard metrics including COMET, XCOMET, and BERTScore exhibit near-zero or negative correlation with human cultural judgments, and even display a severity inversion in which scores increase as translation quality deteriorates. We further show that this failure extends to large language model judges: Qwen3-235B achieves Cohen's kappa of only 0.162, revealing that the bottleneck is not reasoning capacity but cultural grounding: models lack the domain-specific cultural knowledge needed to identify which aspects of a translation require scrutiny. To address this, we propose CuRIL, a reinforcement learning framework that internalizes cultural reasoning: cultural annotations are prepended inside the model's reasoning, excluded from policy gradients via a token-level loss mask, and injected with a probability that decays to zero over training, progressively forcing autonomous cultural judgment. On a 1,444-sample human-annotated social media translation benchmark, Qwen3-8B trained with CuRIL achieves Cohen's kappa 0.370 and Exact Match accuracy of 45.22%, approaching Gemini-3.1-Pro with 30x fewer parameters and surpassing models up to 235B in scale. We further demonstrate that our judge produces reliable reward signals for downstream translation optimization, reducing the low-quality translation rate by over 20 percentage points under independent human evaluation.
• Abstract（参考訳）: 一般ドメインコーパスで訓練された自動翻訳品質メトリクスは、ソーシャルメディアコンテンツ上で体系的に失敗し、そこでは、コミュニケーション意図が、表面トークンパターンではなく、文化的にロードされた表現(インターネットスラング、ホモフォニック暗号、プラットフォーム固有のイディオム)に符号化される。 我々は,COMET,XCOMET,BERTScoreなどの標準指標がヒトの文化的判断とほぼゼロあるいは負の相関を示すことを示す系統的実証分析を行い,翻訳品質が劣化するにつれてスコアが上昇する重度逆転を示す。 Qwen3-235Bはコーエンのカッパを0.162で達成し、ボトルネックはキャパシティの推論ではなく、文化的な根拠である:翻訳のどの側面が精査を必要とするかを特定するのに必要な、ドメイン固有の文化的知識が欠如していることを明らかにする。 そこで我々は,文化的な推論を内包する強化学習フレームワークであるCuRILを提案する: 文化的なアノテーションは,モデルの推論内で予兆され,トークンレベルの損失マスクを介して政策勾配から除外され,学習中にゼロに崩壊する確率で注入され,段階的に自律的な文化的判断を強制する。 1,444サンプルのソーシャルメディア翻訳ベンチマークで、Qwen3-8BはCuRILで訓練され、コーエンのカッパ0.370とエクサックマッチの精度は45.22%に達し、30倍のパラメータでジェミニ-3.1-Proに近づき、235Bのモデルを超えた。 さらに,我々の審査員は,ダウンストリーム翻訳最適化のための信頼性の高い報酬信号を生成し,低品質翻訳率を20パーセント以上低減することを示した。

関連論文リスト

• CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia [72.20656906184539]
  カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。 その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。 人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
  論文  参考訳（メタデータ） (2026-08-28T14:56:46Z)
• Debiasing Text-to-Image Evaluation via Implicit Cultural Alignment Reward Modeling [1.1172382217477128]
  本稿では,AI生成のためのインシシティカルアライメント・リワードモデルを提案する。 筆者らの枠組みは,インプリシット文化プローブとスキップ接続型クロスアテンション機構を統合している。 我々のモデルでは,各評価を局所的な推論設定で0.21秒で処理し,標準VQAベースの評価器よりも10倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-07-17T08:23:03Z)
• Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth [0.34797121357690153]
  クロス評価フレームワークは、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティをインスタンス化した。 提案手法は,母国語話者が作成した103組のプロンプト・ルブリックペアをコントリビュートする。 1,307人の審査員: GPT-5.4は最も信頼できる裁判官(MADj = 10.21 pp, Signed Error = -1.12%)である。
  論文  参考訳（メタデータ） (2026-06-30T20:18:32Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Beyond Literal Translation: Evaluating Cultural Effectiveness in Social Media UGC [39.66998905774523]
  我々はソーシャルメディア翻訳のベンチマークであるCULTURE-MTを紹介する。 CULTURE-MTは、14のドメインにまたがる1,002のノートで構成され、カルチャーロードされたシンボルと言語スタイルの特徴に基づいて4つのタイプに分類される。 本稿では,表現精度と文化的適応性に着目し,新しい評価基準としての文化的有効性を提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:29:25Z)
• Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation [58.01855677487771]
  本研究では,多言語大言語モデル (MLLM) が,プロンプトの言語変化に伴う不整合性を示すことを示す。 コンセンサス駆動型アライメントフレームワークであるC-3POを提案する。 C-3POは、非整合モデルよりも0.10ポイントの$_S$を絶対的に増加させ、強力なプロンプトと表現のステアリングベースラインを上回る。
  論文  参考訳（メタデータ） (2026-04-02T14:04:06Z)
• From Words to Worlds: Benchmarking Cross-Cultural Cultural Understanding in Machine Translation [16.809989616664605]
  CulT-Evalは、モデルが異なるタイプの文化的基盤表現をどのように扱うかを評価するために設計されたベンチマークである。 CulT-Evalは、複数の文化的な接地された表現にまたがる、7,959以上の慎重にキュレートされたインスタンスから構成されている。 文化的な意味の逸脱を対象とする相補的評価尺度を提案する。
  論文  参考訳（メタデータ） (2026-03-18T02:59:44Z)
• Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
  DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。 DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
  論文  参考訳（メタデータ） (2026-03-16T08:33:10Z)
• "Be My Cheese?": Cultural Nuance Benchmarking for Machine Translation in Multilingual LLMs [0.0]
  本稿では,機械翻訳における文化的ローカライゼーションを評価するための大規模評価ベンチマークを提案する。 言語毎に5つのネイティブスピーカーレーダを持つ15言語を対象に,多言語大言語モデル (LLM) を7つ評価した。 GPT-5 (2.10/3)、Claude Sonnet 3.7 (1.97/3)、Mistral Medium 3.1 (1.84/3)は破滅的な失敗が少ない最強の層である。
  論文  参考訳（メタデータ） (2026-02-04T16:35:48Z)
• CURE: Cultural Understanding and Reasoning Evaluation - A Framework for "Thick" Culture Alignment Evaluation in LLMs [24.598338950728234]
  大規模言語モデル(LLM)は、文化的に多様な環境にますます展開されている。 既存の方法は、非文脈的正当性や強制選択判断に重点を置いている。 現実的な状況下でモデルを提示するベンチマークのセットを紹介する。
  論文  参考訳（メタデータ） (2025-11-15T03:39:13Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。