論文の概要: Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages

• arxiv url: http://arxiv.org/abs/2512.08777v1
• Date: Tue, 09 Dec 2025 16:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:08.047551
• Title: Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages
• Title（参考訳）: ゆるやかなアライメントとゆるやかな判断:低リソース言語のためのポストトレーニング
• Authors: David Samuel, Lilja Øvrelid, Erik Velldal, Andrey Kutuzov,
• Abstract要約: 対象言語における命令調整を伴わない言語モデルを構築した。 当社のアプローチでは,2つの一般的なアプローチと比較したオンライン学習手法を用いている。 ノルウェーのBokmlに関するケーススタディを行い,母国語話者による評価を通して流布度を評価する。
• 参考スコア（独自算出の注目度）: 16.671158083515373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a post-training method for lower-resource languages that preserves fluency of language models even when aligned by disfluent reward models. Preference-optimization is now a well-researched topic, but previous work has mostly addressed models for English and Chinese. Lower-resource languages lack both datasets written by native speakers and language models capable of generating fluent synthetic data. Thus, in this work, we focus on developing a fluent preference-aligned language model without any instruction-tuning data in the target language. Our approach uses an on-policy training method, which we compare with two common approaches: supervised finetuning on machine-translated data and multilingual finetuning. We conduct a case study on Norwegian Bokmål and evaluate fluency through native-speaker assessments. The results show that the on-policy aspect is crucial and outperforms the alternatives without relying on any hard-to-obtain data.
• Abstract（参考訳）: 本稿では,不適切な報酬モデルに整合した場合でも,言語モデルの流速を抑える低リソース言語のためのポストトレーニング手法を提案する。 優先度最適化は、現在ではよく研究されているトピックであるが、以前の研究は、主に英語と中国語のモデルに対処してきた。 ローソース言語には、ネイティブスピーカーによって書かれたデータセットと、流動的な合成データを生成することができる言語モデルの両方が欠けている。 そこで本研究では,対象言語に命令調整データを持たずに,流動的な嗜好整合型言語モデルの開発に焦点をあてる。 本手法では,機械翻訳データに対する教師付き微調整と多言語微調整の2つの一般的な手法と比較する。 ノルウェーのBokmålについて事例研究を行い,母国語話者の評価による流布度の評価を行った。 結果は、政治的側面が重要であり、不確実なデータに頼らずに代替手段を上回ることを示している。

関連論文リスト

• BhashaKritika: Building Synthetic Pretraining Data at Scale for Indic Languages [4.279942349440352]
  Indic言語のための合成多言語事前学習データの生成と評価に関する体系的研究を行う。 大規模な合成データセットBhashaKritikaを構築し,10言語で5つの異なる手法を用いて540Bトークンを構成する。 我々は、プロンプト命令と文書のグラウンド化の両方において、言語選択がデータ品質にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-11-13T14:12:44Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment [39.94156255629528]
  ゼロショット・クロスランガルアライメントのための簡単なアプローチを評価する。 言語間の整列モデルは、非整列モデルよりも人間の方が好まれる。 異なる言語報酬モデルでは、同言語報酬モデルよりも優れた整列モデルが得られることがある。
  論文  参考訳（メタデータ） (2024-04-18T16:52:36Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation [21.057178077747754]
  本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。 クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。 実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-01-29T22:30:36Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。