Fugu-MT 論文翻訳(概要): Progressive Content Refinement with Decaying Reward Joint LinUCB

論文の概要: Progressive Content Refinement with Decaying Reward Joint LinUCB

arxiv url: http://arxiv.org/abs/2608.06750v1
Date: Fri, 07 Aug 2026 03:17:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.336544
Title: Progressive Content Refinement with Decaying Reward Joint LinUCB
Title（参考訳）: 逆行性関節リナーブによる進行性内容リファインメント
Abstract要約: 本稿では,報酬減衰モデリングを明示的に組み込んだ新しい文脈帯域幅アルゴリズムを提案する。提案手法は,強いベースラインよりも高い性能向上を達成できることを示す。以上の結果から,バンディット・フレームワークにおける報酬崩壊モデルの統合が過剰な露光を緩和するために重要であることが確認された。
参考スコア（独自算出の注目度）: 2.1290878226779877
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Iterative refinement has significantly enhanced Large Language Model (LLM) performance; however, existing methods ranging from feedback-based Self-Refine to traditional bandit approaches often rely on static options or overlook the saturation effect. This neglect leads to over-exploitation, where the continuous use of identical prompts or arms results in diminishing rewards over time. To address this challenge, we propose a novel contextual bandit algorithm that explicitly incorporates reward decay modeling. Utilizing an Expectation-Maximization (EM) algorithm, our method simultaneously estimates both arm-specific and decay parameters. Furthermore, by embedding prompts as arms, we facilitate the joint learning of arm values, distinguishing our approach from the traditional disjoint Linear Upper Confidence Bound (LinUCB) framework. Experimental results on Sentiment Reversal and GSM8K benchmarks demonstrate that our method achieves significant performance gains over strong baselines. Finally, our ablation study confirms that the integration of reward decay modeling within the bandit framework is crucial for mitigating over-exploitation and optimizing the iterative refinement process.
Abstract（参考訳）: 反復的な改善は、LLM(Large Language Model)のパフォーマンスを大幅に向上させたが、フィードバックベースのSelf-Refineから従来のバンディットアプローチまで、しばしば静的オプションに依存したり、飽和効果を見落としたりする。この無視は、同じプロンプトや腕の連続的な使用によって、時間の経過とともに報酬が減少する過剰な露光につながる。この課題に対処するために、報酬減衰モデリングを明示的に組み込んだ新しい文脈的帯域幅アルゴリズムを提案する。予測最大化(EM)アルゴリズムを用いて,アーム固有パラメータと減衰パラメータの両方を同時に推定する。さらに,プロンプトをアームとして埋め込むことにより,従来の線形上部信頼境界(LinUCB)フレームワークと区別し,腕の値の合同学習を促進する。 Sentiment Reversal と GSM8K ベンチマークの実験結果から,本手法は強いベースラインよりも高い性能向上を達成できることが示された。最後に,バンディットフレームワークにおける報酬崩壊モデルの統合は,過度な露光を緩和し,反復的精錬プロセスの最適化に不可欠であることを確認した。

関連論文リスト

Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
MRI再建は本質的に不完全な逆問題である。この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
論文参考訳（メタデータ） (2026-05-19T04:40:50Z)
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
論文参考訳（メタデータ） (2026-04-19T12:47:52Z)
Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。 RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
論文参考訳（メタデータ） (2026-03-04T04:18:39Z)
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
論文参考訳（メタデータ） (2026-02-11T08:14:11Z)
Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
論文参考訳（メタデータ） (2026-02-02T00:50:53Z)
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
論文参考訳（メタデータ） (2025-12-17T14:28:23Z)
WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
論文参考訳（メタデータ） (2025-07-23T16:02:06Z)
Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
論文参考訳（メタデータ） (2025-06-10T12:59:14Z)
Offline Reinforcement Learning via Inverse Optimization [2.8037951156321372]
連続状態と行動空間のための新しいオフライン強化学習(ORL)アルゴリズムを提案する。 ORL問題でよく見られる分布変化を緩和するために、我々は頑健で非因果予測制御の専門家を用いる。既存の文献と異なり、当社の堅牢なMPC専門家は、正確かつトラクタブルな凸修正を楽しみます。
論文参考訳（メタデータ） (2025-02-27T12:11:44Z)
Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
論文参考訳（メタデータ） (2024-09-17T14:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。