論文の概要: StalePO: Anchored Token-Level Preference Optimization using Legacy Post-Edits in Machine Translation
- arxiv url: http://arxiv.org/abs/2609.16340v1
- Date: Mon, 14 Sep 2026 20:56:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.240441
- Title: StalePO: Anchored Token-Level Preference Optimization using Legacy Post-Edits in Machine Translation
- Title（参考訳）: StalePO: 機械翻訳におけるレガシーポスト編集を用いたToken-Level Preference Optimization
- Abstract要約: 機械翻訳システムは、定期的により強力なモデルにアップグレードされるが、利用可能な選好信号は、古いシステムの出力の人間の後編集である。
標準のDPOはこの設定で失敗する可能性がある: 下位の後編集の可能性を高め、モデルの既存の品質を低下させ、ローカライズされたエラーを修正するのに必要なトーケン単位の制御を提供するのに失敗する。
この体制が課す3つの要件から導かれる目的であるStalePOを紹介します。
- 参考スコア（独自算出の注目度）: 1.5891911851102112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine translation systems are periodically upgraded to stronger models, but the available preference signal is human post-edits of an older system's outputs, which the newer model may already surpass. Moreover, collecting fresh post-edits for every new model is prohibitively expensive. We call this the Stale Preference problem. Standard DPO can fail in this setting: it may increase the likelihood of inferior post-edits, erode the model's existing quality, and fail to provide the per-token control needed to correct localized errors. We introduce StalePO, an objective derived from three requirements this regime imposes. Likelihood movement must be downward on both responses, the policy must be anchored to its own base response, and the KL constraint must apply at the token level. These requirements are jointly necessary. In ablations, each mechanism in isolation leaves the model's performance indistinguishable from the base model, and only their combination converts stale feedback into gains. On English-to-Hindi and English-to-Turkish localization data, StalePO improves the fraction of segments passing all LLM-as-judge MQM quality checks by 14.9 and 4.6 percentage points, respectively, with gains concentrated on style and fluency. A human evaluation under the same framework confirms these gains on English-to-Hindi, raising the fraction of segments passing all seven human checks by 13.8 percentage points.
- Abstract（参考訳）: 機械翻訳システムは、定期的により強力なモデルにアップグレードされるが、利用可能な選好信号は、より古いシステムの出力の人間の後編集である。
さらに、新しいモデルごとに新しいポストエジットを収集することは違法に高価である。
これをStale Preference問題と呼ぶ。
標準のDPOはこの設定で失敗する可能性がある: 下位の後編集の可能性を高め、モデルの既存の品質を低下させ、ローカライズされたエラーを修正するのに必要なトーケン単位の制御を提供するのに失敗する。
この体制が課す3つの要件から導かれる目的であるStalePOを紹介します。
様相運動は両方の応答で下向きでなければならず、ポリシーは独自の基本応答に固定されなければならず、KL制約はトークンレベルで適用されなければならない。
これらの要件は共同で必要である。
アブレーションでは、分離された各メカニズムは、モデルのパフォーマンスをベースモデルと区別できず、それらの組み合わせだけが古いフィードバックをゲインに変換する。
イングリッシュ・トゥ・ヒンディー語とイングリッシュ・トゥ・トルコ語のローカライゼーションデータでは、StalePOはLLM-as-judge MQMのすべての品質チェックを14.9と4.6のパーセンテージで通過するセグメントの比率を改善し、スタイルと流布に集中している。
同じ枠組みの下での人間による評価では、英語とヒンディー語でのこれらの増加が確認され、人間の7つの小切手全てを13.8ポイントで通過する部分の割合が上昇する。
関連論文リスト
- Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning [37.935234078277354]
自己蒸留政策最適化(SDPO)は、大規模言語モデルを用いた強化学習のための高密度トークンレベルの信用割当を提供する。
我々はこのギャップをGRPOの有利な正規化のレンズを通して解析する。
科学的推論とツール使用ベンチマークの実験では、SC-SDPOはSDPOよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-05-26T23:30:01Z) - DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models [9.199240801552302]
GRPO型トレーナーのプラグ・アンド・プレイ・エンハンスメントであるGRPO(DACA-GRPO)に対するDenoising-Aware Credit Assignmentを提案する。
DACA-GRPOは、数学的推論、コード生成、制約満足度、制約付き生成を含む7つのベンチマークで一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-05-08T01:02:31Z) - EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics [86.49781345669436]
言語モデルは事前学習からかなりの評価知識を符号化する。
現在のポストトレーニング手法は、報酬信号を生成するために外部の監督に依存している。
EVOLMは、モデルの評価能力を明示的な識別的ルーブリックに構造化する手法である。
論文 参考訳（メタデータ） (2026-05-05T15:31:00Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Weights-Rotated Preference Optimization for Large Language Models [30.25242193651982]
本稿では,DPO から受け継いだ KL 発散量に対して,出力層ロジットを暗黙的に制約する,新しい重み付き優先度最適化 (RoPO) アルゴリズムを提案する。
我々の RoPO は AlpacaEval 2 の 3.27 点改善を実現し,トレーニング可能なパラメータの 0.015% を MT-Bench の 6.2 から 7.5 点 で上回っている。
論文 参考訳（メタデータ） (2025-08-25T03:57:17Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z) - Token-level Direct Preference Optimization [8.249403373337024]
微調整された事前訓練された大規模言語モデルは、それらを人間の価値観や意図と整合させるのに不可欠である。
トークンレベルでポリシーを最適化することにより,LLMと人間の嗜好を一致させる新しいアプローチである,トークンレベルの直接選好最適化(TDPO)を導入する。
論文 参考訳（メタデータ） (2024-04-18T08:49:38Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-29T17:57:46Z) - Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。
細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。
微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。