論文の概要: Interpretable Meta-Policies for Neural Decision Making

• arxiv url: http://arxiv.org/abs/2610.37451v1
• Date: Tue, 27 Oct 2026 15:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.682718
• Title: Interpretable Meta-Policies for Neural Decision Making
• Title（参考訳）: 神経決定のための解釈可能なメタポリシー
• Abstract要約: ニューラルスキルと象徴的メタポリケーションを組み合わせた階層的RLフレームワークであるNEXUSを紹介する。 我々は,NEXUSエージェントがアンタングルドスキルを習得し,ハイレベルな目標を解釈し,ゲームマニュアルに記述された目標に整合し,ハッキングに報奨を与える傾向が低く,ゲーム単純化に強いことを実証した。
• 参考スコア（独自算出の注目度）: 33.876672447223335
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep Reinforcement Learning remains difficult to interpret and align due to the black-box nature of neural networks. While (neuro-)symbolic approaches improve transparency by incorporating symbolic reasoning, applying them directly to low-level actions results in overly complex, unreadable policies. We introduce NEXUS, a hierarchical RL framework that resolves this tension by combining neural skills with symbolic meta-policies. By shifting transparent reasoning to high-level skills rather than atomic actions, NEXUS drastically reduces symbolic complexity without sacrificing environment performance. Object-centric observations enable high-level reasoning and the design of reward functions and meta-policies by interaction with LLMs. We demonstrate that NEXUS agents learn disentangled skills, are interpretable regarding high-level goals, are better aligned to goals described in the game manual, less prone to reward hacking and more robust to game simplifications than deep RL. Finally, we isolate and evaluate the impact of different meta-policy architectures (neural, symbolic, neuro-symbolic) on environmental return and aligned task performance.
• Abstract（参考訳）: 深層強化学習は、ニューラルネットワークのブラックボックスの性質のため、解釈と整合が難しいままである。 ニューロシンボリックアプローチは、シンボリック推論を取り入れることで透明性を向上させるが、それらを低レベルのアクションに直接適用すると、過度に複雑で読めないポリシーが得られる。 NEXUSは階層的なRLフレームワークで、ニューラルネットワークスキルと象徴的なメタ政治を組み合わせることで、この緊張を解消します。 NEXUSは、透過的な推論をアトミックアクションではなくハイレベルなスキルにシフトすることで、環境性能を犠牲にすることなく、象徴的な複雑さを大幅に削減する。 オブジェクト中心の観測により、LLMとの相互作用による高レベルの推論と報酬関数とメタポリスの設計が可能となる。 我々は,NEXUSエージェントがアンタングルドスキルを習得し,ハイレベルな目標を解釈し,ゲームマニュアルに記述された目標に整合し,ハッキングに報奨を与える傾向が低く,ゲーム単純化に強いことを実証した。 最後に,異なるメタポリシックアーキテクチャ(ニューラル,シンボリック,ニューロシンボリック)が環境リターンやアライメントタスクのパフォーマンスに与える影響を分離し,評価する。

関連論文リスト

• Boosting deep Reinforcement Learning using pretraining with Logical Options [30.559520450824152]
  ニューラルネットワークを用いた強化学習エージェントにシンボル構造を注入する2段階のフレームワークを提案する。 提案手法はHybrid Hierarchical RL (H2RL) と呼ばれ,論理的オプションに基づく事前学習戦略を導入する。 実験的に、このアプローチは長い水平決定を一貫して改善し、強い神経、象徴的、神経象徴的ベースラインより優れたエージェントを生み出すことが示される。
  論文  参考訳（メタデータ） (2026-03-06T18:55:15Z)
• BlendRL: A Framework for Merging Symbolic and Neural Policy Learning [23.854830898003726]
  BlendRLは、論理とニューラルポリシーの混合を使用するRLエージェントに両方のパラダイムを統合する、ニューラルシンボリックなRLフレームワークである。 我々は,BlendRLエージェントが標準アタリ環境において,ニューラルベースラインとシンボリックベースラインの両方より優れていることを実証的に実証した。 ニューラルポリシーとシンボリックポリシーの相互作用を分析し、それらのハイブリッド利用がエージェントの制限を克服するのにどのように役立つかを説明する。
  論文  参考訳（メタデータ） (2024-10-15T15:24:20Z)
• Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
  コネクショニストと象徴的人工知能(AI)の収束を探求する記事 従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。 大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-11T14:00:53Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。