論文の概要: The Interpretability of Codebooks in Model-Based Reinforcement Learning is Limited

• arxiv url: http://arxiv.org/abs/2407.19532v1
• Date: Sun, 28 Jul 2024 16:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 17:42:21.030561
• Title: The Interpretability of Codebooks in Model-Based Reinforcement Learning is Limited
• Title（参考訳）: モデルに基づく強化学習におけるコードブックの解釈可能性
• Authors: Kenneth Eaton, Jonathan Balloch, Julia Kim, Mark Riedl,
• Abstract要約: 深層強化学習システムの解釈可能性は、オペレーターが環境とどのように相互作用するかを理解するのに役立つ。 モデルに基づく強化学習において,ベクトル量子化が解釈可能性をもたらすかどうかを検討する。 強化学習環境で実施した本実験は,ベクトル量子化モデルの符号が矛盾し,一意性は保証されず,概念の絡み合いに限定的な影響を及ぼすことを示した。
• 参考スコア（独自算出の注目度）: 2.499907423888049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability of deep reinforcement learning systems could assist operators with understanding how they interact with their environment. Vector quantization methods -- also called codebook methods -- discretize a neural network's latent space that is often suggested to yield emergent interpretability. We investigate whether vector quantization in fact provides interpretability in model-based reinforcement learning. Our experiments, conducted in the reinforcement learning environment Crafter, show that the codes of vector quantization models are inconsistent, have no guarantee of uniqueness, and have a limited impact on concept disentanglement, all of which are necessary traits for interpretability. We share insights on why vector quantization may be fundamentally insufficient for model interpretability.
• Abstract（参考訳）: 深層強化学習システムの解釈可能性は、オペレーターが環境とどのように相互作用するかを理解するのに役立つ。 ベクトル量子化メソッド(コードブックメソッドとも呼ばれる)は、ニューラルネットワークの潜在空間を識別する。 モデルに基づく強化学習において,ベクトル量子化が解釈可能性をもたらすかどうかを検討する。 強化学習環境 Crafter で実施した実験により,ベクトル量子化モデルの符号は不整合であり,一意性は保証されず,概念の絡み合いに限定的な影響を及ぼすことが示された。 我々は、なぜベクトル量子化がモデル解釈可能性に根本的な欠陥があるのかについての洞察を共有している。

関連論文リスト

• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
  概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。 本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。 実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
  論文  参考訳（メタデータ） (2023-07-13T17:21:54Z)
• Adversarial Attacks on the Interpretation of Neuron Activation Maximization [70.5472799454224]
  アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。 本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
  論文  参考訳（メタデータ） (2023-06-12T19:54:33Z)
• Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
  本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。 アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:56:34Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Multicriteria interpretability driven Deep Learning [0.0]
  ディープラーニングの手法はパフォーマンスで有名だが、その解釈可能性の欠如は、高い文脈での学習を妨げている。 近年のモデル手法では、モデルの内部動作をリバースエンジニアリングすることで、ポストホック解釈可能性法を提供することでこの問題に対処している。 本稿では,目的関数に知識を注入することで,モデルの結果に特徴的影響を制御できるマルチクレータ非依存手法を提案する。
  論文  参考訳（メタデータ） (2021-11-28T09:41:13Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Understanding Interpretability by generalized distillation in Supervised Classification [3.5473853445215897]
  最近の解釈戦略は、複雑な機械学習モデルの根底にある決定メカニズムの人間の理解に焦点を当てている。 本稿では,他のMLモデルと相対的に定義される解釈・蒸留式を提案する。 MNIST、Fashion-MNIST、Stanford40データセットに関する提案フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-12-05T17:42:50Z)
• A Framework to Learn with Interpretation [2.3741312212138896]
  本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。 我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。 学習した機能を視覚化する詳細なパイプラインも開発されている。
  論文  参考訳（メタデータ） (2020-10-19T09:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。