論文の概要: Relic: Enhancing Reward Model Generalization for Low-Resource Indic Languages with Few-Shot Examples

• arxiv url: http://arxiv.org/abs/2506.16502v1
• Date: Thu, 19 Jun 2025 17:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.201773
• Title: Relic: Enhancing Reward Model Generalization for Low-Resource Indic Languages with Few-Shot Examples
• Title（参考訳）: Relic: 少数例の低リソースインデックス言語に対するリワードモデル一般化の強化
• Authors: Soumya Suvra Ghosal, Vaibhav Singh, Akash Ghosh, Soumyabrata Pal, Subhadip Baidya, Sriparna Saha, Dinesh Manocha,
• Abstract要約: ほとんどのオープンソースの多言語報酬モデルは、主にオープンソース言語の好みデータセットに基づいて訓練されている。 低リソースIndic言語における報酬モデリングのための新しい文脈内学習フレームワークであるRELICを提案する。
• 参考スコア（独自算出の注目度）: 58.55904048776596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward models are essential for aligning large language models (LLMs) with human preferences. However, most open-source multilingual reward models are primarily trained on preference datasets in high-resource languages, resulting in unreliable reward signals for low-resource Indic languages. Collecting large-scale, high-quality preference data for these languages is prohibitively expensive, making preference-based training approaches impractical. To address this challenge, we propose RELIC, a novel in-context learning framework for reward modeling in low-resource Indic languages. RELIC trains a retriever with a pairwise ranking objective to select in-context examples from auxiliary high-resource languages that most effectively highlight the distinction between preferred and less-preferred responses. Extensive experiments on three preference datasets- PKU-SafeRLHF, WebGPT, and HH-RLHF-using state-of-the-art open-source reward models demonstrate that RELIC significantly improves reward model accuracy for low-resource Indic languages, consistently outperforming existing example selection methods. For example, on Bodo-a low-resource Indic language-using a LLaMA-3.2-3B reward model, RELIC achieves a 12.81% and 10.13% improvement in accuracy over zero-shot prompting and state-of-the-art example selection method, respectively.
• Abstract（参考訳）: リワードモデルは、大きな言語モデル(LLM)と人間の嗜好の整合に不可欠である。 しかし、ほとんどのオープンソースの多言語報酬モデルは、主に高リソース言語の嗜好データセットに基づいて訓練されており、低リソースのIndic言語に対する信頼性の低い報酬信号をもたらす。 これらの言語に対して、大規模で高品質な嗜好データを集めることは、極めて高価であり、嗜好に基づくトレーニングアプローチは実用的ではない。 この課題に対処するために、低リソースのインデックス言語における報酬モデリングのための新しい文脈内学習フレームワークであるRELICを提案する。 Relicはレトリバーをペアのランク付け目的で訓練し、好まれない応答と好ましくない応答の区別を効果的に強調する補助的な高リソース言語から、コンテキスト内例を選択する。 PKU-SafeRLHF、WebGPT、HH-RLHFを使ったオープンソース報酬モデルという3つの選好データセットに対する大規模な実験により、RELICは低リソースのIndic言語に対する報酬モデルの精度を大幅に改善し、既存のサンプル選択方法より一貫して優れていることが示された。 例えば、低リソースのIndic言語を用いたLLaMA-3.2-3B報酬モデルでは、Relicはゼロショットプロンプトと最先端のサンプル選択よりも精度が12.81%と10.13%向上している。

関連論文リスト

• Whisper-LM: Improving ASR Models with Language Models for Low-Resource Languages [0.43498389175652036]
  本研究は、従来の言語モデルと新しい言語モデルと微調整されたWhisperモデルを統合し、あまり一般的でない言語での性能を高める。 我々は、特に低リソースシナリオにおいて、単語エラー率を大幅に改善したことを示す。 統合はすべてのモデルサイズに確実に貢献するが、改善の程度は様々であり、最適化された言語モデルパラメータの重要性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T18:03:52Z)
• Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning [0.4194295877935868]
  本研究では,ローランド適応 (LoRA) -高効率ファインチューニング (PEFT) がマラウイの多言語Gemmaモデルに及ぼす影響について検討した。 52,000対の命令応答対を持つ翻訳データセットを用いて、評価結果が微調整後に低下する一方で、手動による評価では、微調整されたモデルが元のモデルよりも優れていることがしばしば示唆されている。
  論文  参考訳（メタデータ） (2024-11-27T18:14:38Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment [39.94156255629528]
  ゼロショット・クロスランガルアライメントのための簡単なアプローチを評価する。 言語間の整列モデルは、非整列モデルよりも人間の方が好まれる。 異なる言語報酬モデルでは、同言語報酬モデルよりも優れた整列モデルが得られることがある。
  論文  参考訳（メタデータ） (2024-04-18T16:52:36Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
  良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。 本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。 提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-12-01T00:54:02Z)
• Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation [21.057178077747754]
  本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。 クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。 実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-01-29T22:30:36Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Improving Candidate Generation for Low-resource Cross-lingual Entity Linking [81.41804263432684]
  XEL(クロスランガル・エンティティ・リンク)は、ソース言語テキストから抽出された参照をターゲット言語知識ベース(KB)で検索するタスクである。 本稿では,(1)エンティティ参照とKBエントリの切断を減らすこと,(2)低リソースシナリオへのモデルの堅牢性を改善すること,の3つの改良を提案する。
  論文  参考訳（メタデータ） (2020-03-03T05:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。