論文の概要: RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation
- arxiv url: http://arxiv.org/abs/2610.00979v1
- Date: Thu, 01 Oct 2026 03:16:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.874905
- Title: RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation
- Title（参考訳）: RISED:RbrIcs for agentic multi-environment Selection and sElf-Distillation
- Abstract要約: 多様な対話環境にまたがる単一のLDMエージェントを共同で訓練することは、ジェネラリストエージェントへのルートとして注目を集めている。
既存のカリキュラムとデータ選択戦略は、しばしば環境レベルでのトレーニングを割り当てるか、または局所的な報酬に基づくシグナルを優先順位付けする。
- 参考スコア（独自算出の注目度）: 38.69103423734831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training a single LLM agent jointly across diverse interactive environments has attracted increasing attention as a route to generalist agents. Existing curriculum and data-selection strategies often allocate training at the environment level or prioritize local reward-based signals, without explicitly considering relationships between current rollouts across environments for prompt-group selection. Meanwhile, as environments are learned at different rates, all-failure and all-success rollout groups can coexist within a batch, leaving those data without group-relative reward signals. Both challenges highlight limitations of relying solely on scalar rewards in multi-environment RL: they provide limited information about cross-environment relationships and no within-group reward contrast when rewards are identical. This motivates richer textual feedback, such as rubrics describing rollout behaviours, to guide learning. Beyond rubrics' usage as reward, we repurpose rubrics to guide both online data selection and policy supervision. An LLM judge tags each rollout using a predefined rubric vocabulary shared across environments. The resulting profiles guide the selection of data that aligns with the overall behavioural composition of the mixed-environment batch while limiting overlap with already-selected data. Available positive rubrics (describing desired behaviours) provide privileged context for an on-policy self-distillation teacher, supplying additional token-level supervision, while negative rubrics (describing undesired behaviours) guide subsequent rollout generation away from recurring failure modes. Together, these components form RISED. Across model backbones, RISED achieves the highest mean pass rate across environments and ranks first or second in every individual environment. Rubric-based analysis of RISED can further characterize the behavioural changes accompanying these gains.
- Abstract（参考訳）: 多様な対話環境にまたがる単一のLDMエージェントを共同で訓練することは、ジェネラリストエージェントへのルートとして注目を集めている。
既存のカリキュラムやデータ選択戦略は、しばしば環境レベルのトレーニングを割り当てたり、地域報酬に基づく信号の優先順位を付けたりする。
一方、環境が異なる速度で学習されるにつれて、全障害と全障害のロールアウトグループはバッチ内で共存し、それらのデータをグループ相対的な報酬信号なしで残すことができる。
どちらの課題も、マルチ環境RLにおけるスカラー報酬のみに依存するという制限を強調している:それらは、クロス環境関係に関する限られた情報を提供し、報酬が同一である場合にグループ内報酬のコントラストがない。
これは、ロールアウト動作を記述するルーブリックなど、よりリッチなテキストフィードバックを動機付け、学習をガイドする。
報酬としてのルーブリックの使用以外にも、オンラインデータ選択とポリシー監視の両方をガイドするために、ルーブリックを再使用しています。
LLMジャッジは、環境間で共有される定義されたルーブリック語彙を使用して、各ロールアウトをタグ付けする。
結果のプロファイルは、既に選択されたデータとの重なりを制限しながら、混合環境バッチの全体的な振る舞いの組成に一致したデータの選択をガイドする。
利用可能なポジティブなルーリック(望ましい振る舞いを説明する)は、オン・ポリチの自己蒸留教師に特権的なコンテキストを提供し、トークンレベルの監視を提供する一方で、ネガティブなルーリック(望ましくない振る舞いを説明する)は、繰り返し発生する障害モードからその後のロールアウト生成を導く。
これらを合わせてRISEDを形成する。
モデルバックボーン全体で、RISEDは各環境における最高平均パスレートを達成し、各環境において第1位または第2位にランク付けする。
RISEDのルーブリックに基づく分析は、これらの利得に伴う行動変化をさらに特徴付けることができる。
関連論文リスト
- SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。
我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
論文 参考訳（メタデータ） (2026-09-29T05:15:41Z) - Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences [2.0531872026357383]
ユーザごとのアライメントアプローチでは、好みのフィードバックは少ないことが多いため、学習は不安定になり、人間の好みのノイズに対して脆弱になる。
ユーザアライメントに対する単一の共有ポリシアプローチは、このコストを回避するが、不均一な選好をキャプチャできず、少数派選好を無視することが多い。
提案するPreference-based Reward Clustering (PREC) は,多様なユーザによって提供される2進選好ラベルから,コンパクトなポリシーセットを学習する新しいフレームワークである。
論文 参考訳（メタデータ） (2026-07-14T07:50:43Z) - RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。
RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。
以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
論文 参考訳（メタデータ） (2026-05-22T05:19:58Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning [1.2922946578413577]
多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク
多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク
論文 参考訳（メタデータ） (2026-03-23T13:55:14Z) - Can RL Improve Generalization of LLM Agents? An Empirical Study [68.19349692042341]
Reinforcement Fine-tuning (RFT) は環境フィードバックに基づいてマルチターン意思決定を行うための LLM エージェントの訓練を約束している。
現実世界のデプロイメントでは、エージェントは異なるバックグラウンド知識を持つ見えない環境で動作することができる。
RFTは環境内のタスクの難易度でよく一般化されるが、見えない環境へのより弱い移動を示す。
論文 参考訳（メタデータ） (2026-03-12T14:54:59Z) - A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs [2.840505903487544]
本稿では,大規模言語モデル(LLM)を,連合学習環境における多種多様な人間の嗜好と整合させるという課題に対処する。
本研究では,人間の嗜好に異なるアグリゲーション戦略を用いる場合,アライメント品質と公正性のトレードオフを評価する総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-09T16:39:32Z) - Invariant Causal Imitation Learning for Generalizable Policies [87.51882102248395]
Invariant Causal Learning (ICIL) を提案する。
ICILはノイズ変数の特定の表現から切り離された因果的特徴の表現を学習する。
ICILは、目に見えない環境に一般化可能な模倣ポリシーの学習に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-02T16:52:36Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳（メタデータ） (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。