論文の概要: Interpretable by Design: Query-Specific Neural Modules for Explainable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.08749v1
• Date: Thu, 13 Nov 2025 01:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.219952
• Title: Interpretable by Design: Query-Specific Neural Modules for Explainable Reinforcement Learning
• Title（参考訳）: 設計による解釈: 説明可能な強化学習のためのクエリ特有なニューラルモジュール
• Authors: Mehrdad Zakershahrak,
• Abstract要約: 我々はRLシステムを推論エンジンとして設計し、環境に関する多様な問い合わせに答える。 クエリ条件付き決定論的推論ネットワーク(QDIN)は,クエリの種類を第一級市民として扱う統一アーキテクチャである。 予測精度は、制御性能が最適以下であってもほぼ完璧なレベルに達する。
• 参考スコア（独自算出の注目度）: 0.3655021726150367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has traditionally focused on a singular objective: learning policies that select actions to maximize reward. We challenge this paradigm by asking: what if we explicitly architected RL systems as inference engines that can answer diverse queries about their environment? In deterministic settings, trained agents implicitly encode rich knowledge about reachability, distances, values, and dynamics - yet current architectures are not designed to expose this information efficiently. We introduce Query Conditioned Deterministic Inference Networks (QDIN), a unified architecture that treats different types of queries (policy, reachability, paths, comparisons) as first-class citizens, with specialized neural modules optimized for each inference pattern. Our key empirical finding reveals a fundamental decoupling: inference accuracy can reach near-perfect levels (99% reachability IoU) even when control performance remains suboptimal (31% return), suggesting that the representations needed for accurate world knowledge differ from those required for optimal control. Experiments demonstrate that query specialized architectures outperform both unified models and post-hoc extraction methods, while maintaining competitive control performance. This work establishes a research agenda for RL systems designed from inception as queryable knowledge bases, with implications for interpretability, verification, and human-AI collaboration.
• Abstract（参考訳）: 強化学習は伝統的に、報酬を最大限にするために行動を選択する政策を学ぶという、特定の目的に焦点を合わせてきた。 環境に関する多様な問い合わせに答えられる推論エンジンとしてRLシステムを明示的に設計したらどうだろうか? 決定論的設定では、訓練されたエージェントは、到達可能性、距離、値、ダイナミクスに関する豊富な知識を暗黙的にエンコードします。 クエリ条件付き決定論的推論ネットワーク(QDIN)は、さまざまなタイプのクエリ(政治、到達可能性、パス、比較)をファーストクラスとして扱う統一アーキテクチャであり、各推論パターンに最適化された特殊なニューラルネットワークモジュールを備えている。 予測精度は、制御性能が最適以下である場合でも、ほぼ完全なレベル(99%の到達性IoU)に達することができ(31%の戻り値)、正確な世界知識に必要な表現が最適制御に必要なものと異なることを示唆している。 実験により、クエリ特化アーキテクチャは、競合制御性能を維持しながら、統一モデルとポストホック抽出法の両方より優れていることが示された。 本研究は,問合せ可能な知識ベースとして開始から設計したRLシステムの研究課題を確立し,解釈可能性,検証,人間とAIのコラボレーションに寄与する。

関連論文リスト

• Embedding Domain Knowledge for Large Language Models via Reinforcement Learning from Augmented Generation [18.99847259801634]
  本稿では,RLAG(Reinforcement Learning from Augmented Generation)を提案し,ドメイン知識を大規模言語モデルに組み込む。 提案手法は, サンプリング世代間を反復的に循環し, 計算した報酬によってモデルを最適化する。 医学、法学、天文学、および現在のイベントデータセットにわたる実験結果から、提案手法がベースラインアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-09-24T14:30:16Z)
• SoftPipe: A Soft-Guided Reinforcement Learning Framework for Automated Data Preparation [10.764970149373845]
  我々は,厳格な制約をソフトガイダンスのパラダイムに置き換える,新しいRLフレームワークであるSoftPipeを紹介した。 我々は、SoftPipeがパイプラインの品質を最大13.9%改善し、2.8$times$既存の方法よりも高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2025-07-18T07:43:22Z)
• Scalable In-Context Q-Learning [68.9917436397079]
  textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。 textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
  論文  参考訳（メタデータ） (2025-06-02T04:21:56Z)
• Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
  因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。 この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:40Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
  本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。 当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。 モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
  論文  参考訳（メタデータ） (2021-06-12T10:08:52Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。