論文の概要: SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling

• arxiv url: http://arxiv.org/abs/2506.15498v1
• Date: Wed, 18 Jun 2025 14:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.692801
• Title: SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling
• Title（参考訳）: SPARE: 自動プロセススーパービジョンとリワードモデリングのための参照型評価付きシングルパスアノテーション
• Authors: Md Imbesat Hassan Rizvi, Xiaodan Zhu, Iryna Gurevych,
• Abstract要約: シングルパス。 リファレンスガイドによる評価(SPARE) 参照ソリューションにおける各ソリューションステップを1つまたは複数のステップにアライメントすることで、単一のパス毎のアノテーションを可能にする新しい構造化フレームワーク。 SPAREは2.6倍の効率を実現し、実行時の38%しか必要としない。
• 参考スコア（独自算出の注目度）: 70.01883340129204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Process or step-wise supervision has played a crucial role in advancing complex multi-step reasoning capabilities of Large Language Models (LLMs). However, efficient, high-quality automated process annotation remains a significant challenge. To address this, we introduce Single-Pass Annotation with Reference-Guided Evaluation (SPARE), a novel structured framework that enables single-pass, per-step annotation by aligning each solution step to one or multiple steps in a reference solution, accompanied by explicit reasoning for evaluation. We show that reference-guided step-level evaluation effectively facilitates process supervision on four datasets spanning three domains: mathematical reasoning, multi-hop compositional question answering, and spatial reasoning. We demonstrate that SPARE, when compared to baselines, improves reasoning performance when used for: (1) fine-tuning models in an offline RL setup for inference-time greedy-decoding, and (2) training reward models for ranking/aggregating multiple LLM-generated outputs. Additionally, SPARE achieves competitive performance on challenging mathematical datasets while offering 2.6 times greater efficiency, requiring only 38% of the runtime, compared to tree search-based automatic annotation. The codebase, along with a trained SPARE-PRM model, is publicly released to facilitate further research and reproducibility.
• Abstract（参考訳）: プロセスやステップの監督は、LLM(Large Language Models)の複雑な多段階推論能力を前進させる上で重要な役割を担っている。 しかし、効率的で高品質な自動プロセスアノテーションは依然として重要な課題である。 そこで本研究では,参照型評価を用いた単一パスアノテーション(SPARE)を導入し,各ソリューションステップを参照ソリューションの1つないし複数のステップにアライメントすることで,単一のパス毎のアノテーションを可能にする新しい構造化フレームワークを提案する。 参照誘導ステップレベル評価は, 数学的推論, マルチホップ構成質問応答, 空間的推論という3つの領域にまたがる4つのデータセットにおいて, プロセスの監視を効果的に行うことを示す。 本研究では,SPAREがベースラインと比較した場合,(1)推論時グレディデコーディングのためのオフラインRLセットアップにおける微調整モデル,(2)複数のLLM出力のランク付けと集約のためのトレーニング報酬モデルを用いて,使用時の推論性能を向上させることを実証する。 さらに、SPAREは、木検索ベースの自動アノテーションと比較して、実行時の38%しか必要とせず、2.6倍の効率を提供するとともに、挑戦的な数学的データセット上での競合的なパフォーマンスを実現している。 コードベースは、トレーニングされたSPARE-PRMモデルとともに、さらなる研究と再現性を促進するために公開されている。

関連論文リスト

• Ask, Fail, Repeat: Meeseeks, an Iterative Feedback Benchmark for LLMs' Multi-turn Instruction-Following Ability [5.393872292662451]
  Meeseeksは,反復的なフィードバックフレームワークを通じて,現実的な人間-LLMインタラクションをシミュレートする。 MeeseeksはマルチターンシナリオにおけるLLMの命令フォロー機能に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-30T13:28:19Z)
• PanguIR Technical Report for NTCIR-18 AEOLLM Task [12.061652026366591]
  大規模言語モデル(LLM)はますます重要で、評価が難しい。 手作業の評価は包括的ではあるが、コストが高くリソース集約的であることが多い。 自動評価はスケーラビリティを提供するが、評価基準の制限によって制約される。
  論文  参考訳（メタデータ） (2025-03-04T07:40:02Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。