論文の概要: SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling

• arxiv url: http://arxiv.org/abs/2506.15498v1
• Date: Wed, 18 Jun 2025 14:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.692801
• Title: SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling
• Title（参考訳）: SPARE: 自動プロセススーパービジョンとリワードモデリングのための参照型評価付きシングルパスアノテーション
• Authors: Md Imbesat Hassan Rizvi, Xiaodan Zhu, Iryna Gurevych,
• Abstract要約: シングルパス。 リファレンスガイドによる評価(SPARE) 参照ソリューションにおける各ソリューションステップを1つまたは複数のステップにアライメントすることで、単一のパス毎のアノテーションを可能にする新しい構造化フレームワーク。 SPAREは2.6倍の効率を実現し、実行時の38%しか必要としない。
• 参考スコア（独自算出の注目度）: 70.01883340129204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Process or step-wise supervision has played a crucial role in advancing complex multi-step reasoning capabilities of Large Language Models (LLMs). However, efficient, high-quality automated process annotation remains a significant challenge. To address this, we introduce Single-Pass Annotation with Reference-Guided Evaluation (SPARE), a novel structured framework that enables single-pass, per-step annotation by aligning each solution step to one or multiple steps in a reference solution, accompanied by explicit reasoning for evaluation. We show that reference-guided step-level evaluation effectively facilitates process supervision on four datasets spanning three domains: mathematical reasoning, multi-hop compositional question answering, and spatial reasoning. We demonstrate that SPARE, when compared to baselines, improves reasoning performance when used for: (1) fine-tuning models in an offline RL setup for inference-time greedy-decoding, and (2) training reward models for ranking/aggregating multiple LLM-generated outputs. Additionally, SPARE achieves competitive performance on challenging mathematical datasets while offering 2.6 times greater efficiency, requiring only 38% of the runtime, compared to tree search-based automatic annotation. The codebase, along with a trained SPARE-PRM model, is publicly released to facilitate further research and reproducibility.
• Abstract（参考訳）: プロセスやステップの監督は、LLM(Large Language Models)の複雑な多段階推論能力を前進させる上で重要な役割を担っている。 しかし、効率的で高品質な自動プロセスアノテーションは依然として重要な課題である。 そこで本研究では,参照型評価を用いた単一パスアノテーション(SPARE)を導入し,各ソリューションステップを参照ソリューションの1つないし複数のステップにアライメントすることで,単一のパス毎のアノテーションを可能にする新しい構造化フレームワークを提案する。 参照誘導ステップレベル評価は, 数学的推論, マルチホップ構成質問応答, 空間的推論という3つの領域にまたがる4つのデータセットにおいて, プロセスの監視を効果的に行うことを示す。 本研究では,SPAREがベースラインと比較した場合,(1)推論時グレディデコーディングのためのオフラインRLセットアップにおける微調整モデル,(2)複数のLLM出力のランク付けと集約のためのトレーニング報酬モデルを用いて,使用時の推論性能を向上させることを実証する。 さらに、SPAREは、木検索ベースの自動アノテーションと比較して、実行時の38%しか必要とせず、2.6倍の効率を提供するとともに、挑戦的な数学的データセット上での競合的なパフォーマンスを実現している。 コードベースは、トレーニングされたSPARE-PRMモデルとともに、さらなる研究と再現性を促進するために公開されている。

関連論文リスト

• $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
  $V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
  論文  参考訳（メタデータ） (2026-03-04T17:22:16Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following [10.119219532863767]
  思考段階の怠慢な推論は 指示の順守に 寄与する主要な要因だ 本稿では,プレビューと自己チェックを含む厳密な推論プロセスを実現するための包括的フレームワークを提案する。 私たちのLight-IF-32Bモデルは、DeepSeek-R1のような大規模なオープンソースモデルと、Doubao-1.6のようなクローズドソースモデルの両方を上回っています。
  論文  参考訳（メタデータ） (2025-08-05T07:42:00Z)
• Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning [10.227089771963943]
  本稿では,自動プロセス報酬データ構築のための不確実性駆動型フレームワークを提案する。 本稿では,2つの一般的な不確実性を考慮した出力アグリゲーション手法を提案する。 ProcessBench、MATH、GSMPlusの実験では、提案したPRMデータ構築フレームワークの有効性と効率が示されている。
  論文  参考訳（メタデータ） (2025-08-03T14:14:13Z)
• Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs [14.531280062127442]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な能力を示してきたが、専門的なアプリケーションのための高性能なモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。 本研究では,効率的なデータ選択の基本原理としてタスク多様性を活用することで,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。 提案手法は,1) 異なるプロンプトに対するタスクラベルが容易に利用できること,2) 事前学習されたモデルがタスク間の信頼度を著しく変化させること,の2つの重要な結果に基づいている。
  論文  参考訳（メタデータ） (2025-07-29T03:51:00Z)
• Enhancing Test-Time Scaling of Large Language Models with Hierarchical Retrieval-Augmented MCTS [19.394761422323853]
  R2-LLMsは,新規で汎用的な階層型検索拡張推論フレームワークである。 R2-LLMsは、二重レベル検索ベースのインコンテキスト学習を統合することにより、推論時間一般化を強化する。 MATH500、GSM8K、OlympiadBench-TOデータセットに関する実証的な評価は、かなりの相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2025-07-08T00:41:12Z)
• Ask, Fail, Repeat: Meeseeks, an Iterative Feedback Benchmark for LLMs' Multi-turn Instruction-Following Ability [5.393872292662451]
  Meeseeksは,反復的なフィードバックフレームワークを通じて,現実的な人間-LLMインタラクションをシミュレートする。 MeeseeksはマルチターンシナリオにおけるLLMの命令フォロー機能に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-30T13:28:19Z)
• PanguIR Technical Report for NTCIR-18 AEOLLM Task [12.061652026366591]
  大規模言語モデル(LLM)はますます重要で、評価が難しい。 手作業の評価は包括的ではあるが、コストが高くリソース集約的であることが多い。 自動評価はスケーラビリティを提供するが、評価基準の制限によって制約される。
  論文  参考訳（メタデータ） (2025-03-04T07:40:02Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• AURORA:Automated Training Framework of Universal Process Reward Models via Ensemble Prompting and Reverse Verification [31.463529258956452]
  本稿では,アンサンブルのプロンプトと逆検証を用いた統一プロセス報酬モデル(PRM)をトレーニングするための新しいフレームワークであるAURORAを提案する。 まず、さまざまなプロンプト戦略とアンサンブルメソッドを使用して、自動化されたアノテーションとプロセスの評価を行います。 フレームワークのパフォーマンスを評価するために、UniversalBenchを導入することで、既存のProcessBenchベンチマークを超えて拡張します。
  論文  参考訳（メタデータ） (2025-02-17T07:41:27Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。