論文の概要: Post-edits Are Preferences Too
- arxiv url: http://arxiv.org/abs/2410.02320v1
- Date: Thu, 03 Oct 2024 08:56:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 17:56:14.745618
- Title: Post-edits Are Preferences Too
- Title(参考訳): 編集後も好まれる
- Authors: Nathaniel Berger, Stefan Riezler, Miriam Exel, Matthias Huck,
- Abstract要約: 機械翻訳では、ペアの好みは5点評価のような他の人間のフィードバックよりも信頼性が低い。
本研究は, 編集後仮説を上位出力ランクに引き上げるために, 編集後における教師付き微調整(SFT)により最良の結果が得られることを示す。
- 参考スコア(独自算出の注目度): 11.351365352611658
- License:
- Abstract: Preference Optimization (PO) techniques are currently one of the state of the art techniques for fine-tuning large language models (LLMs) on pairwise preference feedback from human annotators. However, in machine translation, this sort of feedback can be difficult to solicit. Additionally, Kreutzer et al. (2018) have shown that, for machine translation, pairwise preferences are less reliable than other forms of human feedback, such as 5-point ratings. We examine post-edits to see if they can be a source of reliable human preferences by construction. In PO, a human annotator is shown sequences $s_1$ and $s_2$ and asked for a preference judgment, %$s_1 > s_2$; while for post-editing, editors \emph{create} $s_1$ and know that it should be better than $s_2$. We attempt to use these implicit preferences for PO and show that it helps the model move towards post-edit-like hypotheses and away from machine translation-like hypotheses. Furthermore, we show that best results are obtained by pre-training the model with supervised fine-tuning (SFT) on post-edits in order to promote post-edit-like hypotheses to the top output ranks.
- Abstract(参考訳): 優先度最適化(PO)技術は現在、人間のアノテータからのペアの好みフィードバックに基づいて、大規模言語モデル(LLM)を微調整するための最先端技術の1つである。
しかし、機械翻訳では、このようなフィードバックを要請することは困難である。
さらに、Kreutzer et al (2018) は、機械翻訳では、5点評価のような他の形式の人間のフィードバックよりもペアの好みが信頼性が低いことを示した。
建設による信頼性の高い人間の嗜好の源となり得るかどうかを,ポストエジットで検証する。
POでは、人間のアノテータが$s_1$と$s_2$のシーケンスを表示し、選好判断のために%$s_1 > s_2$を要求される。
我々はこれらのPOに対する暗黙の選好を使って、モデルが後述のような仮説に移行し、機械翻訳のような仮説から離れるのに役立つことを示す。
さらに, 編集後仮説を上位出力ランクに昇格させるために, 教師付き微調整(SFT)による事前学習を行うことにより, 最良の結果が得られることを示した。
関連論文リスト
- Inverse Constitutional AI: Compressing Preferences into Principles [37.28372419588119]
Inverse Constitutional AI (ICAI) の問題に目を向ける。
ICAIでは、フィードバックと微調整AIモデルを提供するために一連の原則が使用される。
初期ICAIアルゴリズムを提案し,その構成を検証した。
論文 参考訳(メタデータ) (2024-06-02T11:54:50Z) - Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。
DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。
この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
論文 参考訳(メタデータ) (2024-05-29T17:39:48Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、反復的なポリシー更新を通じてナッシュ均衡を近似する。
論文 参考訳(メタデータ) (2024-05-01T17:59:20Z) - Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
大きな言語モデル(LLM)を整列させる一般的な手法は、人間の好みを取得することに依存する。
本稿では,命令応答対に対して協調的に好みを抽出する新たな軸を提案する。
また,LLMのアライメントを大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-31T02:05:40Z) - Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
論文 参考訳(メタデータ) (2024-02-22T21:36:07Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - Direct Preference Optimization with an Offset [58.7977683502207]
直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる成功戦略である。
本稿では,DPOをオフセット(ODPO)で一般化し,微調整時にすべての選好ペアを等しく扱わないDPOを提案する。
論文 参考訳(メタデータ) (2024-02-16T10:55:38Z) - Efficient Machine Translation Corpus Generation [3.441021278275805]
提案手法は,言語学者が編集後実施するカスタムMT品質評価指標のオンライントレーニングに基づく。
オンライン推定器は、後編集の悪い仮説を優先順位付けし、後編集なしで最良の仮説を自動クローズするために用いられる。
論文 参考訳(メタデータ) (2023-06-20T18:46:47Z) - PePe: Personalized Post-editing Model utilizing User-generated
Post-edits [28.749742163017544]
この課題に対処するために、パーソナライズされた後編集フレームワークを導入します。
まず,ライブ機械翻訳システムからユーザの好みを記述した後編集データを収集する。
次に、APEフレームワーク上で、識別器モジュールとユーザ固有のパラメータを組み合わせたモデルを提案する。
論文 参考訳(メタデータ) (2022-09-21T06:09:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。