論文の概要: A Bellman Optimality Equation for Plasticity

• arxiv url: http://arxiv.org/abs/2609.10776v1
• Date: Wed, 09 Sep 2026 19:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.119034
• Title: A Bellman Optimality Equation for Plasticity
• Title（参考訳）: ベルマン最適塑性方程式
• Abstract要約: アベルらは2025年、可塑性をエージェントの観察から行動への指示情報として定義した。 この新しい定義の下では、可塑性の最適化に対処する研究は行われていない。 可塑性を最適化するためのベルマン最適性方程式が存在することを示す。
• 参考スコア（独自算出の注目度）: 32.403961716203455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In continual reinforcement learning, carefully managing the stability-plasticity tradeoff remains a core challenge. Recent work by Abel et al. (2025) formalized this dilemma by defining plasticity as the generalized directed information from an agent's observations to its actions, and empowerment as the generalized directed information from its actions to its observations. This formulation successfully reframes the traditional stability-plasticity tradeoff as an empowerment-plasticity tradeoff. However, while extensive literature exists on optimizing for empowerment, there is currently no research addressing the optimization of plasticity under this new definition. This paper presents preliminary work toward optimizing plasticity within Markov decision processes. We show that there exists a Bellman optimality equation for optimizing plasticity similar to previous work for empowerment.
• Abstract（参考訳）: 継続的な強化学習では、安定性と塑性のトレードオフを慎重に管理することが重要な課題である。 Abel et al (2025) による最近の研究は、可塑性をエージェントの観察から行動への一般化指向情報として定義し、その行動から観察への一般化指向情報として強化することで、このジレンマを定式化した。 この定式化は、従来の安定性-塑性トレードオフをエンパワーメント-塑性トレードオフとして再編成することに成功した。 しかしながら、エンパワーメントの最適化に関する広範な文献は存在するが、この新しい定義の下での可塑性の最適化に対処する研究は今のところない。 本稿ではマルコフ決定過程における可塑性の最適化に向けた予備研究について述べる。 可塑性を最適化するためのベルマン最適性方程式が存在することを示す。

関連論文リスト

• Segment-Aligned Policy Optimization for Multi-Modal Reasoning [55.29606572822562]
  本稿では、トークンや全シーケンスではなく、一貫性のある推論ステップをポリシー更新の基本単位として扱う新しい強化学習パラダイムを提案する。 代表的な推論ベンチマークの実験は、SAPOがトークンレベルおよびシーケンスレベルポリシー最適化手法を一貫して上回っていることを示している。 我々の研究は、強化学習の更新を推論の構造と整合させることの重要性を強調し、複雑な推論タスクにおけるより効率的でセマンティックに根ざした政策最適化の道を開く。
  論文  参考訳（メタデータ） (2026-05-02T08:47:45Z)
• Bridging Theory and Practice: A Stochastic Learning-Optimization Model for Resilient Automotive Supply Chains [0.0]
  サプライチェーンの混乱と不安定な需要は、ジャスト・イン・タイム(JIT)製造に大きく依存している英国の自動車業界にとって大きな課題となっている。 本稿では,ベイズ推論と在庫最適化を統合した新しい学習最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-09T17:51:51Z)
• TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
  本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
  論文  参考訳（メタデータ） (2025-09-10T11:16:21Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• A Timeline and Analysis for Representation Plasticity in Large Language Models [0.0]
  本稿では, 異なる微調整段階において抽出したステアリングを応用することにより, 「正直」 と モデル塑性がいかに進化するかを理解することを目的とする。 初期のステアリングは高い塑性を示すが、後期は驚くほど反応のよい臨界窓を持つ。 これらの洞察は、AI透明性の分野に大きく貢献し、効率の急激な欠如に対処し、モデルの振る舞いを効果的に操る能力を制限する。
  論文  参考訳（メタデータ） (2024-10-08T17:34:15Z)
• Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation [46.61909578101735]
  AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。 本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:20:12Z)
• PLASTIC: Improving Input and Label Plasticity for Sample Efficient Reinforcement Learning [54.409634256153154]
  強化学習(RL)では, サンプル効率の向上が重要である。 原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。 本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
  論文  参考訳（メタデータ） (2023-06-19T06:14:51Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• Unveiling the role of plasticity rules in reservoir computing [0.0]
  Reservoir Computing (RC) は機械学習において魅力的なアプローチである。 我々は,RCの性能向上につながる変化に対して,塑性規則が果たす役割を分析する。
  論文  参考訳（メタデータ） (2021-01-14T19:55:30Z)
• Reward Maximisation through Discrete Active Inference [1.2074552857379273]
  報酬の最大化に最適なアクションを、アクティブな推論エージェントがどのように、いつ実行するかを示す。 能動推論がベルマン方程式の最適解を生成する条件を示す。 我々は,この分析を,能動推論と強化学習のより広い関係に関する議論に付加する。
  論文  参考訳（メタデータ） (2020-09-17T07:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。