論文の概要: GRRM: Group Relative Reward Modeling for Machine Translation

• arxiv url: http://arxiv.org/abs/2602.14028v1
• Date: Sun, 15 Feb 2026 07:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.606839
• Title: GRRM: Group Relative Reward Modeling for Machine Translation
• Title（参考訳）: GRRM:機械翻訳のためのグループ相対リワードモデリング
• Authors: Sen Yang, Shanbo Cheng, Lu Xu, Jianbing Zhang, Shujian Huang,
• Abstract要約: Group Relative Reward Model (GRRM) - 機械翻訳のためのモデル。 我々は、GQM(Group Quality Metric)パラダイムを導入し、GRRM(Group Relative Reward Model)を介してインスタンス化する。 我々のフレームワークは、一般的な翻訳品質を向上するだけでなく、最先端の推論モデルに匹敵する推論能力を開放する。
• 参考スコア（独自算出の注目度）: 42.24067432947138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Group Relative Policy Optimization (GRPO) offers a powerful framework for LLM post-training, its effectiveness in open-ended domains like Machine Translation hinges on accurate intra-group ranking. We identify that standard Scalar Quality Metrics (SQM) fall short in this context; by evaluating candidates in isolation, they lack the comparative context necessary to distinguish fine-grained linguistic nuances. To address this, we introduce the Group Quality Metric (GQM) paradigm and instantiate it via the Group Relative Reward Model (GRRM). Unlike traditional independent scorers, GRRM processes the entire candidate group jointly, leveraging comparative analysis to rigorously resolve relative quality and adaptive granularity. Empirical evaluations confirm that GRRM achieves competitive ranking accuracy among all baselines. Building on this foundation, we integrate GRRM into the GRPO training loop to optimize the translation policy. Experimental results demonstrate that our framework not only improves general translation quality but also unlocks reasoning capabilities comparable to state-of-the-art reasoning models. We release codes, datasets, and model checkpoints at https://github.com/NJUNLP/GRRM.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO)は、LLMポストトレーニングのための強力なフレームワークを提供するが、Machine Translationのようなオープンエンドのドメインでは、正確なグループ内ランキングが有効である。 この文脈では、標準のScalar Quality Metrics (SQM) は不足している。 これを解決するために,GQM(Group Quality Metric)パラダイムを導入し,GRRM(Group Relative Reward Model)を介してインスタンス化する。 従来の独立したスコアラーとは異なり、GRRMは、相対的な品質と適応的な粒度を厳密に解決するために比較分析を利用して、候補グループ全体を共同で処理する。 実験的な評価により、GRRMは全てのベースライン間での競合的なランキング精度を達成することが確認される。 この基盤の上に構築されたGRRMをGRPOトレーニングループに統合し、翻訳ポリシーを最適化する。 実験により,本フレームワークは一般的な翻訳品質を向上するだけでなく,最先端の推論モデルに匹敵する推論能力を開放することを示した。 私たちはhttps://github.com/NJUNLP/GRRMでコード、データセット、モデルチェックポイントをリリースします。

関連論文リスト

• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
  解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。 我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
  論文  参考訳（メタデータ） (2026-02-06T15:17:11Z)
• Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs [1.2891210250935148]
  本稿では,Large Language Models (LLM) を用いた自動スキル分解について検討する。 我々のフレームワークは、パイプラインをプロンプトと生成から正規化とオントロジーノードとのアライメントまで標準化する。 出力を評価するために、コンテンツ精度を評価するために最適な埋め込みベースのマッチングを使用するF1スコアと、粒度を評価するために構造的に正しい配置を信用する階層型F1スコアの2つの指標を導入する。
  論文  参考訳（メタデータ） (2025-10-13T12:03:06Z)
• ZeroGR: A Generalizable and Scalable Framework for Zero-Shot Generative Retrieval [125.19156877994612]
  生成検索(GR)は、情報検索(IR)を文書識別子(ドシデント)の生成としてフレーミングすることによって再構成する 我々は、自然言語命令を利用して幅広いIRタスクにわたってGRを拡張するゼロショット生成検索フレームワークであるtextscZeroGRを提案する。 具体的には、textscZeroGRは、3つのキーコンポーネントで構成されている: (i)不均一な文書を意味的に意味のあるドシデントに統一するLMベースのドシデントジェネレータ; (ii)自然言語タスク記述から様々なタイプのクエリを生成し、拡張する命令チューニングクエリジェネレータ。
  論文  参考訳（メタデータ） (2025-10-12T03:04:24Z)
• Improving Consistency in Retrieval-Augmented Systems with Group Similarity Rewards [14.535325886547112]
  RAGシステムは、ユーザがセマンティックに等価なクエリ間で出力が一貫性があることを期待する、ハイテイクなドメインにますますデプロイされている。 既存のシステムは、レトリバーとジェネレータの両方のばらつきにより、しばしば重大な矛盾を示す。 本稿では,RAGの一貫性をレトリバーレベル,ジェネレータレベル,エンド・ツー・エンドのコンポーネントに分解する基本的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T23:14:13Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
  RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。 我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。