論文の概要: AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.18592v1
• Date: Mon, 18 May 2026 16:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.998077
• Title: AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning
• Title（参考訳）: AMARIS:ルーブリック強化学習のためのメモリ拡張ルーブリック改善システム
• Authors: Peilin Wu, Xinlu Zhang, Kun Wan, Wentian Zhao, Gang Wu, Xinya Du, Zhiyu Chen,
• Abstract要約: AMARISは,長期トレーニング履歴において,ルーリックな修正を基礎として導入する。 各トレーニングステップでは、AMARISは結果をステップレベルの要約に集約する。 クローズドドメインとオープンエンドドメインの両方の実験は、AMARISがベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 25.32049139462467
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Rubric-based reward shaping is an effective method for fine-tuning LLMs via RL, where structured rubrics decompose standard outcome rewards into multiple dimensions to provide richer reward signals. Recent works make the rubrics adaptive based on local signals such as the rollouts from the current step or pairwise comparisons. However, these methods discard the diagnostics produced during evaluation after immediate use and prevent the long-term accumulation and strategic reuse of evaluation knowledge. This forces the system to re-derive evaluation principles from scratch, limits its ability to detect recurring suboptimal behaviors, and forfeits the curriculum-like progression that a persistent training history would naturally support. To address these limitations, we introduce AMARIS, which grounds rubric modifications in long-term training history. At each training step, AMARIS analyzes individual rollouts, aggregates findings into step-level summaries, retrieves relevant historical context from a persistent evaluation memory through both static (recent steps) and dynamic (semantically matched) retrieval, and updates rubrics based on these accumulated analyses. This procedure runs asynchronously alongside the normal RL loop with minimal overhead. Experiments across both closed and open-ended domains show that AMARIS consistently outperforms the baselines. Ablation studies show that static and dynamic memory retrieval contributes to the performance gain and their combination provides the strongest results with moderate retrieval budgets sufficient to provide most of the gain, and that the entire pipeline adds only ~5\% time overhead through asynchronous execution. These results show that persistent evaluation memory can transform rubric-based reward shaping from a stateless, per-step heuristic into an evidence-driven loop for RL training.
• Abstract（参考訳）: ルブリックベースの報酬整形は、構造されたルブリックが複数の次元に分解してよりリッチな報酬信号を提供する、RLを介してLLMを微調整する効果的な方法である。 最近の研究は、現在のステップからのロールアウトやペアワイズ比較のようなローカル信号に基づいて、ルーブリックを適応させる。 しかし、これらの手法は、即時使用後の評価中に発生する診断を破棄し、評価知識の長期蓄積と戦略的再利用を防止する。 これにより、システムは、評価原則をスクラッチから再帰させ、繰り返し発生する準最適行動を検出する能力を制限し、永続的なトレーニング履歴が自然にサポートするカリキュラムのような進歩を禁止します。 これらの制約に対処するために,長期トレーニング履歴のルーリックな修正を基礎としたAMARISを導入する。 各トレーニングステップで、AMARISは個々のロールアウトを分析し、結果をステップレベルの要約に集約し、静的(最近のステップ)と動的(セマンティックにマッチした)検索の両方を通じて、永続的な評価メモリから関連する履歴コンテキストを検索し、これらの集計分析に基づいてルーブリックを更新する。 この手順は、最小限のオーバーヘッドで通常のRLループと共に非同期に実行される。 クローズドドメインとオープンエンドドメインの両方の実験は、AMARISがベースラインを一貫して上回っていることを示している。 アブレーション研究では、静的メモリと動的メモリの検索がパフォーマンス向上に寄与し、それらの組み合わせによって、ほとんどの利得を提供するのに十分な適度な検索予算が得られ、パイプライン全体が非同期実行を通じてわずか5倍の時間オーバーヘッドしか与えていないことが示されている。 これらの結果から, 持続的評価記憶は, ルーリックベースの報酬形成を, 状態のない, ステップごとのヒューリスティックからRLトレーニングのエビデンス駆動ループに変換できることがわかった。

関連論文リスト

• RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards [76.17893114021757]
  長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
  論文  参考訳（メタデータ） (2026-05-11T17:40:38Z)
• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
  近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。 提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。 実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
  論文  参考訳（メタデータ） (2025-11-03T10:00:49Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。