論文の概要: AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.18592v1
• Date: Mon, 18 May 2026 16:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.998077
• Title: AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning
• Title（参考訳）: AMARIS:ルーブリック強化学習のためのメモリ拡張ルーブリック改善システム
• Abstract要約: AMARISは,長期トレーニング履歴において,ルーリックな修正を基礎として導入する。 各トレーニングステップでは、AMARISは結果をステップレベルの要約に集約する。 クローズドドメインとオープンエンドドメインの両方の実験は、AMARISがベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 25.32049139462467
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Rubric-based reward shaping is an effective method for fine-tuning LLMs via RL, where structured rubrics decompose standard outcome rewards into multiple dimensions to provide richer reward signals. Recent works make the rubrics adaptive based on local signals such as the rollouts from the current step or pairwise comparisons. However, these methods discard the diagnostics produced during evaluation after immediate use and prevent the long-term accumulation and strategic reuse of evaluation knowledge. This forces the system to re-derive evaluation principles from scratch, limits its ability to detect recurring suboptimal behaviors, and forfeits the curriculum-like progression that a persistent training history would naturally support. To address these limitations, we introduce AMARIS, which grounds rubric modifications in long-term training history. At each training step, AMARIS analyzes individual rollouts, aggregates findings into step-level summaries, retrieves relevant historical context from a persistent evaluation memory through both static (recent steps) and dynamic (semantically matched) retrieval, and updates rubrics based on these accumulated analyses. This procedure runs asynchronously alongside the normal RL loop with minimal overhead. Experiments across both closed and open-ended domains show that AMARIS consistently outperforms the baselines. Ablation studies show that static and dynamic memory retrieval contributes to the performance gain and their combination provides the strongest results with moderate retrieval budgets sufficient to provide most of the gain, and that the entire pipeline adds only ~5\% time overhead through asynchronous execution. These results show that persistent evaluation memory can transform rubric-based reward shaping from a stateless, per-step heuristic into an evidence-driven loop for RL training.
• Abstract（参考訳）: ルブリックベースの報酬整形は、構造されたルブリックが複数の次元に分解してよりリッチな報酬信号を提供する、RLを介してLLMを微調整する効果的な方法である。 最近の研究は、現在のステップからのロールアウトやペアワイズ比較のようなローカル信号に基づいて、ルーブリックを適応させる。 しかし、これらの手法は、即時使用後の評価中に発生する診断を破棄し、評価知識の長期蓄積と戦略的再利用を防止する。 これにより、システムは、評価原則をスクラッチから再帰させ、繰り返し発生する準最適行動を検出する能力を制限し、永続的なトレーニング履歴が自然にサポートするカリキュラムのような進歩を禁止します。 これらの制約に対処するために,長期トレーニング履歴のルーリックな修正を基礎としたAMARISを導入する。 各トレーニングステップで、AMARISは個々のロールアウトを分析し、結果をステップレベルの要約に集約し、静的(最近のステップ)と動的(セマンティックにマッチした)検索の両方を通じて、永続的な評価メモリから関連する履歴コンテキストを検索し、これらの集計分析に基づいてルーブリックを更新する。 この手順は、最小限のオーバーヘッドで通常のRLループと共に非同期に実行される。 クローズドドメインとオープンエンドドメインの両方の実験は、AMARISがベースラインを一貫して上回っていることを示している。 アブレーション研究では、静的メモリと動的メモリの検索がパフォーマンス向上に寄与し、それらの組み合わせによって、ほとんどの利得を提供するのに十分な適度な検索予算が得られ、パイプライン全体が非同期実行を通じてわずか5倍の時間オーバーヘッドしか与えていないことが示されている。 これらの結果から, 持続的評価記憶は, ルーリックベースの報酬形成を, 状態のない, ステップごとのヒューリスティックからRLトレーニングのエビデンス駆動ループに変換できることがわかった。

関連論文リスト

• Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation [0.0]
  強化学習(Reinforcement Learning)は、環境フィードバックを用いて大規模言語モデルを訓練するために一般的に用いられる。 トレーニングフレームワークであるセルフレビュー強化学習を導入し、各RLエピソードに明確な自己レビューステップを組み込む。 ファーストパス応答が失敗すると、モデルが自己レビューを生成して、何がうまくいかなかったかを識別する。
  論文  参考訳（メタデータ） (2026-07-06T18:24:16Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards [76.17893114021757]
  長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
  論文  参考訳（メタデータ） (2026-05-11T17:40:38Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• GAM-RAG: Gain-Adaptive Memory for Evolving Retrieval in Retrieval-Augmented Generation [16.737829113782126]
  Retrieval-Augmented Generation (RAG) は、大規模な言語モデルに外部の証拠を付けているが、多くの実装では、構築後も静的なインデックスに依存している。 認知神経科学におけるスキーマに基づく学習をモチベーションとして,繰り返しクエリや関連するクエリから検索経験を蓄積する学習自由フレームワークであるGAM-RAGを提案する。 GAM-RAGは、リンクが固定的な意味関係ではなく、潜在的な共起をキャプチャする、軽量で無関係な階層インデックスを構築している。
  論文  参考訳（メタデータ） (2026-03-02T12:09:17Z)
• SibylSense: Adaptive Rubric Learning via Memory Tuning and Adversarial Probing [12.008158955114062]
  SibylSenseは、検証済みのルーリックアイテムのチューナブルメモリバンクを介して冷凍ルーリックジェネレータを適応させる。 SibylSenseは、ルーブリックに満足する候補回答を生成するルーブリック-逆ポリシー更新とメモリチューニングを交互に行う。
  論文  参考訳（メタデータ） (2026-02-24T10:28:44Z)
• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
  近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。 提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。 実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
  論文  参考訳（メタデータ） (2025-11-03T10:00:49Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。