論文の概要: Alignment Flywheel-Guided Suppression Patching for Interactionless Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.01322v1
• Date: Sat, 31 Oct 2026 22:45:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:32:50.300822
• Title: Alignment Flywheel-Guided Suppression Patching for Interactionless Inverse Reinforcement Learning
• Title（参考訳）: 無干渉逆強化学習のためのアライメントフライホイールガイド型抑制パッチ
• Abstract要約: 我々は,学習した評価器を再訓練することなく,局所的な修正を行う機構であるEmphflywheel-guided patchingを導入する。 我々は,MoE-GUIDEを用いたインタラクションレス逆強化学習のメカニズムをインスタンス化し,モデルの潜在空間にパッチを配置し,オンライン報酬評価中に少数のローカルサブセットのみを取得する。
• 参考スコア（独自算出の注目度）: 5.399984738447277
• License:
• Abstract: Learned reward models allow reinforcement-learning agents to use demonstrations, implicit feedback, safety constraints, social norms, or other sources that do not provide a complete hand-designed scalar reward. However, a learned reward model can assign high reward to unwanted behavior. A policy can exploit these errors during training. Later requirements can also identify additional regions where the deployed reward should change. We introduce \emph{flywheel-guided patching}, a mechanism for making such localized corrections without retraining the learned evaluator. An Alignment Flywheel identifies overgeneralized or constraint-violating regions and compiles verified findings into suppression patches. We instantiate the mechanism for Interactionless Inverse Reinforcement Learning using MoE-GUIDE, placing patches in the model's latent space and retrieving only a small local subset during online reward evaluation. In the main MuJoCo benchmark, we evaluate patching without expert-state reset warm starts. We also test whether operator-specified norms absent from the demonstrations can be compiled into the same reward interface and compare this with enforcing the corresponding rules online. The results show that localized corrective information can modify an existing learned reward without providing a complete replacement reward. Compilation can reuse judgments that are expensive or unavailable during control. Cheap deterministic rules may be simpler to check directly at each step. Code for MoE-GUIDE, Alignment Flywheel, and flywheel patching is at https://github.com/decide-ugent/Alignment-Flywheel.
• Abstract（参考訳）: 学習された報酬モデルにより、強化学習エージェントは、デモ、暗黙のフィードバック、安全性の制約、社会的規範、あるいは完全な手書きのスカラー報酬を提供しない他のソースを使用することができる。 しかし、学習した報酬モデルは、望ましくない行動に高い報酬を与えることができる。 ポリシーは、トレーニング中にこれらのエラーを利用することができます。 後続の要件では、デプロイされた報酬を変更するべき追加のリージョンも特定できる。 そこで我々は,学習評価器を再訓練することなく,そのような局所的な補正を行う機構である,emph{flywheel-guided patching}を導入する。 アライメント・フライホイールは、過度に一般化された領域または制約された領域を特定し、検証された結果を抑圧パッチにコンパイルする。 我々は,MoE-GUIDEを用いたインタラクションレス逆強化学習のメカニズムをインスタンス化し,モデルの潜在空間にパッチを配置し,オンライン報酬評価中に少数のローカルサブセットのみを取得する。 メインの MuJoCo ベンチマークでは,エキスパート状態のリセットを必要とせずにパッチを評価する。 また、実演から欠落した演算子特定規範を同じ報酬インターフェースにコンパイル可能かどうかを検証し、これと対応するルールをオンラインに強制した場合と比較する。 その結果、局所化された補正情報は、完全な代替報酬を与えることなく、既存の学習報酬を変更できることが示唆された。 コンパイルは、制御中に高価または利用できない判断を再利用することができる。 チープな決定論的ルールは、各ステップで直接チェックする方が簡単かもしれません。 MoE-GUIDE、Alignment Flywheel、フライホイールパッチのコードはhttps://github.com/decide-ugent/Alignment-Flywheelにある。

関連論文リスト

• EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning [67.7756579795553]
  EmoGavelは,マルチモーダル感情選好学習に有効な報酬を付与した,グラウンディング・アウェア強化学習フレームワークである。 EmoGavelは制御エラー構築情報を利用して、好みの予測、エラーのローカライゼーション、修復、不明な証拠回復を共同で学習する。 EmoPreferおよび制御エラー評価セットの実験は、EmoGavelが強いエラーグラウンド性能を維持しながら、自然選好予測と制御エラー判別の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2026-10-09T10:28:54Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Label-Free Reinforcement Learning via Cross-Model Entropy [4.404496835736175]
  強化学習を伴う学習後の大規模言語モデルは、報酬信号によってボトルネックとなる。 RL後学習のためのラベルなし報酬信号としてクロスモデルエントロピー(CME)を提案する。 CMEは継続的で、トレーニングなしであり、検証者が予想外の応答が正しいか、品質が高いと判断する原則に基づいている。
  論文  参考訳（メタデータ） (2026-05-27T19:04:35Z)
• The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
  本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。 モデルの局所性依存性を示す実証的証拠を提供する。 ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
  論文  参考訳（メタデータ） (2026-05-19T05:22:21Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。