Fugu-MT 論文翻訳(概要): VersaPRM: Multi-Domain Process Reward Model via Synthetic Reasoning Data

論文の概要: VersaPRM: Multi-Domain Process Reward Model via Synthetic Reasoning Data

arxiv url: http://arxiv.org/abs/2502.06737v1
Date: Mon, 10 Feb 2025 18:03:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-11 14:30:26.728138
Title: VersaPRM: Multi-Domain Process Reward Model via Synthetic Reasoning Data
Title（参考訳）: VersaPRM:合成推論データによるマルチドメインプロセスリワードモデル
Authors: Thomas Zeng, Shuibai Zhang, Shutong Wu, Christian Classen, Daewon Chae, Ethan Ewer, Minjae Lee, Heeju Kim, Wonjun Kang, Jackson Kunde, Ying Fan, Jungtaek Kim, Hyung Il Koo, Kannan Ramchandran, Dimitris Papailiopoulos, Kangwook Lee,
Abstract要約: 本稿では,新しいデータ生成法とアノテーション法を用いて生成した合成推論データに基づいて学習したマルチドメインPRMであるVersaPRMを紹介する。 VersaPRMはさまざまなドメインで一貫したパフォーマンス向上を実現している。 VersaPRMのすべてのデータ、コード、モデルをオープンソース化することで、コミュニティにさらに貢献します。
参考スコア（独自算出の注目度）: 21.460891616139534
License:
Abstract: Process Reward Models (PRMs) have proven effective at enhancing mathematical reasoning for Large Language Models (LLMs) by leveraging increased inference-time computation. However, they are predominantly trained on mathematical data and their generalizability to non-mathematical domains has not been rigorously studied. In response, this work first shows that current PRMs have poor performance in other domains. To address this limitation, we introduce VersaPRM, a multi-domain PRM trained on synthetic reasoning data generated using our novel data generation and annotation method. VersaPRM achieves consistent performance gains across diverse domains. For instance, in the MMLU-Pro category of Law, VersaPRM via weighted majority voting, achieves a 7.9% performance gain over the majority voting baseline -- surpassing Qwen2.5-Math-PRM's gain of 1.3%. We further contribute to the community by open-sourcing all data, code and models for VersaPRM.
Abstract（参考訳）: Process Reward Models (PRMs) は、推論時間計算の増大を利用して、Large Language Models (LLMs) の数学的推論を強化するのに有効であることが証明されている。しかし、それらは主に数学的データに基づいて訓練されており、非数学的領域への一般化性は厳密には研究されていない。これに対し、この研究はまず、現在のPRMが他のドメインで性能が劣っていることを示す。この制限に対処するために,新しいデータ生成およびアノテーション法を用いて生成した合成推論データに基づいて訓練されたマルチドメインPRMであるVersaPRMを紹介した。 VersaPRMはさまざまなドメインで一貫したパフォーマンス向上を実現している。例えば、MMLU-Pro法では、多数決の重み付けによるVersaPRMは、多数決のベースラインよりもパフォーマンスが7.9%向上し、Qwen2.5-Math-PRMの1.3%を上回っている。 VersaPRMのすべてのデータ、コード、モデルをオープンソース化することで、コミュニティにさらに貢献します。

関連論文リスト

Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model [0.0]
Few-Shot Cross-Domain NERは、データ豊富なソースドメインからの知識を活用して、データ不足のターゲットドメイン上でエンティティ認識を実行するプロセスである。名前付きエンティティ認識のための検索拡張大言語モデルIF-WRANERを提案する。
論文参考訳（メタデータ） (2024-11-01T08:57:29Z)
ControlMath: Controllable Data Generation Promotes Math Generalist Models [38.0858432336873]
方程式生成モジュールと2つの LLM ベースのエージェントを含む反復的手法である ControlMath を提案する。モジュールは多種多様な方程式を生成し、それを問題職人のエージェントが算術語問題に変換する。 ControlMathQAは190kの数学語問題を含む。
論文参考訳（メタデータ） (2024-09-20T03:58:26Z)
Task Oriented In-Domain Data Augmentation [38.525017729123114]
大規模言語モデル(LLM)は様々なアプリケーションや分野において優れた性能を示している。法律や広告などの専門分野の性能向上のために、LLMはドメイン内のデータに基づいて事前訓練されることが多い。タスク指向のドメイン内データ拡張フレームワークTRAITを提案する。
論文参考訳（メタデータ） (2024-06-24T14:58:11Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文参考訳（メタデータ） (2024-05-01T11:10:24Z)
DMoERM: Recipes of Mixture-of-Experts for Effective Reward Modeling [0.0]
我々は、Mixture-of-Experts(MoE)のアイデアを、報酬モデル(RM)トレーニングの分野に導入する。特定のタスクを複数の機能ディメンションに分解し、それぞれにLoRA専門家を個別に微調整する。我々のモデルは、人間の嗜好との整合性に優れ、先進的な生成アプローチを実現する。
論文参考訳（メタデータ） (2024-03-02T12:31:22Z)
SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文参考訳（メタデータ） (2023-11-30T03:05:14Z)
MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning [54.2093509928664]
大規模言語モデルを用いた数学推論では、クエリの進化と多様な推論経路による微調整データ拡張が実験的に有効である。本研究では,数理推論におけるそのようなデータ拡張に関する調査を行い,これらの疑問に答えることを意図している。コードと拡張データはhttps://github.com/OFA-Sys/8k-Scel.comで公開しています。
論文参考訳（メタデータ） (2023-10-09T08:18:58Z)
FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
論文参考訳（メタデータ） (2022-11-07T09:38:34Z)
Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
論文参考訳（メタデータ） (2022-10-25T21:54:26Z)
Multi-Label Contrastive Learning for Abstract Visual Reasoning [0.0]
Ravenのプログレッシブマトリクスを解く最先端のシステムは、大量のパターンベースのトレーニングとデータセットのバイアスを利用する。人間は、解決すべきRPM(または一般的には視覚的推論タスク)の根底にあるルールや概念の識別に集中する。本稿では,新しいトレーニングアルゴリズムに加えて,最先端性能に寄与する重要な要因であるRPMのスパースルール符号化方式を提案する。
論文参考訳（メタデータ） (2020-12-03T14:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。