論文の概要: Retrieval-Enhanced Cultural Evaluation for Social Media Translation Training

• arxiv url: http://arxiv.org/abs/2611.02009v1
• Date: Sun, 01 Nov 2026 15:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.519402
• Title: Retrieval-Enhanced Cultural Evaluation for Social Media Translation Training
• Title（参考訳）: ソーシャルメディア翻訳教育における検索型文化評価
• Abstract要約: 検索強化文化評価を用いて,ソーシャルメディア翻訳モデルCUE-MTを学習する。 校正されたドメイン固有の審査官は、教師付きデータ洗練をガイドし、ハード・サンプル・マイニングと強化学習のためのエージェントによって強化される。 Retrievalは、一致した非検索ベースラインに対して、審判員の4方向の分類精度を8.07ポイント改善する。
• 参考スコア（独自算出の注目度）: 31.117988191189895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social media translation requires preserving meaning while capturing the cultural nuances of user-generated content (UGC). However, gaps in the cultural knowledge of LLM-based evaluators can lead to inaccurate assessments and unreliable training rewards. To improve these signals, we use retrieval-enhanced cultural evaluation to train CUE-MT, a family of social media translation models. A calibrated, domain-specific Judger guides supervised data refinement and is augmented by an Agent for hard-example mining and reinforcement learning. The Agent retrieves relevant external evidence as needed and distills it into concise hints that the Judger uses to score translations and assign rewards. Across 9B, 27B, and 35B-A3B backbones, CUE-MT outperforms the evaluated open-source baselines of comparable size on CUE-MT-Bench and three public benchmarks. Human evaluation on CUE-MT-Bench shows cultural effectiveness gains of 7.44-15.12 percentage points over the strongest external baseline in each size group. Retrieval improves the Judger's four-way classification accuracy by 8.07 percentage points over a matched no-retrieval baseline that uses LLM-generated hints alone. Training ablations further support the combination of hard-example mining and Agent-enhanced rewards.
• Abstract（参考訳）: ソーシャルメディア翻訳は、ユーザ生成コンテンツ(UGC)の文化的ニュアンスを捉えながら、意味を保存する必要がある。 しかし、LCMに基づく評価者の文化的知識のギャップは、不正確な評価と信頼できないトレーニング報酬につながる可能性がある。 これらの信号を改善するため,ソーシャルメディア翻訳モデルのファミリーであるCUE-MTの学習に検索強化文化評価を用いた。 校正されたドメイン固有の審査官は、教師付きデータ洗練をガイドし、ハード・サンプル・マイニングと強化学習のためのエージェントによって強化される。 エージェントは必要に応じて関連する外部証拠を回収し、裁判官が翻訳を採点し報酬を割り当てるために使用する簡潔なヒントに蒸留する。 9B、27B、35B-A3Bのバックボーンにおいて、CUE-MTはCUE-MT-Benchと3つの公開ベンチマークで評価されたオープンソースベースラインよりも優れている。 CUE-MT-Benchの人的評価は、各サイズ群において最強の外部ベースラインに対して7.44～15.12ポイントの文化的効果が得られたことを示している。 Retrievalは、LCM生成ヒントのみを使用するマッチした非検索ベースラインに対して、審判員の4方向の分類精度を8.07ポイント向上させる。 訓練の修了は、ハード・サンプル・マイニングとエージェント・エンハンスド・報酬の組み合わせをさらに支援している。

関連論文リスト

• FOCUS: Active Critic Learning for Long-Horizon Language Model Agents [50.841006231659826]
  FOCUSは、選択的分岐を用いて、批評家ネットワークがその価値推定器を学習するのを助けるRL手法である。 FOCUSは、モジュール型コンテキスト管理インタフェースを通じて、長距離エージェント強化学習をサポートする。 以上の結果から,FOCUSはGRPOとVinePPOよりも高い性能を示した。
  論文  参考訳（メタデータ） (2026-10-26T17:34:47Z)
• Expert-Guided Rubrics as Dense Reward Signals for Reinforcement Learning in Non-Verifiable Domains [0.18472148461613155]
  大規模言語モデル(LLM)は、検証不可能なドメインにおける自律的なエージェントとして、ますます多くデプロイされている。 本稿では,主観的専門家の判断に対する小さな固定的投資を,厳密な報酬に変換する手法を提案する。 実験では、スパースリワードベースラインと比較して、Recall@3で6%、MRR@3で6.7%の改善が見られた。
  論文  参考訳（メタデータ） (2026-10-17T19:01:11Z)
• CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia [72.20656906184539]
  カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。 その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。 人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
  論文  参考訳（メタデータ） (2026-08-28T14:56:46Z)
• Beyond Literal Translation: Evaluating Cultural Effectiveness in Social Media UGC [39.66998905774523]
  我々はソーシャルメディア翻訳のベンチマークであるCULTURE-MTを紹介する。 CULTURE-MTは、14のドメインにまたがる1,002のノートで構成され、カルチャーロードされたシンボルと言語スタイルの特徴に基づいて4つのタイプに分類される。 本稿では,表現精度と文化的適応性に着目し,新しい評価基準としての文化的有効性を提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:29:25Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Mitigating Cultural Bias in LLMs via Multi-Agent Cultural Debate [7.517766226036547]
  大規模言語モデル(LLM)は、体系的な西洋中心の偏見を示すが、非西洋の言語がそれを緩和できるかどうかはまだ検討されていない。 我々は、中国語のバイリンガルベンチマークであるCEBiasBenchと、偏見の判断を明確化するためのマルチエージェント投票(MAV)を紹介する。 この枠組みを用いることで、中国はそれを排除するのではなく、単に東アジアの視点に偏見を移すだけであることがわかった。
  論文  参考訳（メタデータ） (2026-01-17T16:00:34Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• Evaluating and Improving Cultural Awareness of Reward Models for LLM Alignment [38.24188183584244]
  リワードモデル(RM)は、大きな言語モデルと多様な文化の整合に不可欠である。 既存のRM評価は、文化的に関連するデータセットが不足しているため、文化的意識を評価するには不十分である。 文化意識リワードモデリングベンチマーク (CARB) を提案する。
  論文  参考訳（メタデータ） (2025-09-26T02:56:06Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。