論文の概要: Bilinear Convolution Decomposition for Causal RL Interpretability

• arxiv url: http://arxiv.org/abs/2412.00944v1
• Date: Sun, 01 Dec 2024 19:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:49:27.181927
• Title: Bilinear Convolution Decomposition for Causal RL Interpretability
• Title（参考訳）: 因果RL解釈性のための双線形畳み込み分解
• Authors: Narmeen Oozeer, Sinem Erisken, Alice Rigg,
• Abstract要約: 強化学習(RL)モデルを解釈する試みは、しばしば帰属や探究のような高度な技術に依存している。 本研究では、畳み込みニューラルネットワーク(ConvNets)の非線形性を双線型変種に置き換え、これらの制限に対処可能なモデルのクラスを作成することを提案する。 モデルフリー強化学習環境では,バイリニアモデルの変形が相容れないことを示し,ProcGen環境上での並べ比較を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Efforts to interpret reinforcement learning (RL) models often rely on high-level techniques such as attribution or probing, which provide only correlational insights and coarse causal control. This work proposes replacing nonlinearities in convolutional neural networks (ConvNets) with bilinear variants, to produce a class of models for which these limitations can be addressed. We show bilinear model variants perform comparably in model-free reinforcement learning settings, and give a side by side comparison on ProcGen environments. Bilinear layers' analytic structure enables weight-based decomposition. Previous work has shown bilinearity enables quantifying functional importance through eigendecomposition, to identify interpretable low rank structure. We show how to adapt the decomposition to convolution layers by applying singular value decomposition to vectors of interest, to separate the channel and spatial dimensions. Finally, we propose a methodology for causally validating concept-based probes, and illustrate its utility by studying a maze-solving agent's ability to track a cheese object.
• Abstract（参考訳）: 強化学習(RL)モデルを解釈する試みは、しばしば帰属や探究のような高度な技術に依存し、相関的な洞察と粗い因果制御のみを提供する。 本研究では、畳み込みニューラルネットワーク(ConvNets)の非線形性を双線型変種に置き換え、これらの制限に対処可能なモデルのクラスを作成することを提案する。 モデルフリー強化学習環境では,バイリニアモデルの変形が相容れないことを示し,ProcGen環境上での並べ比較を行う。 双線型層の解析構造は、重みに基づく分解を可能にする。 これまでの研究では、双線型性は固有分解による機能的重要性の定量化を可能にし、解釈可能な低階構造を同定していた。 興味のあるベクトルに特異値分解を適用して畳み込み層に分解を適応させ、チャネルと空間次元を分離する方法を示す。 最後に,概念に基づくプローブの因果的検証手法を提案し,その有用性について,迷路解凍剤のチーズ物体追跡能力について検討した。

関連論文リスト

• A theoretical framework for overfitting in energy-based modeling [5.1337384597700995]
  相互作用ネットワークの同定を目的とした逆問題に対するペアワイズエネルギーベースモデルの学習における限られたデータの影響について検討する。 我々は、結合行列の固有基底を横断する訓練軌跡を識別し、固有モデムの独立進化を利用する。 有限データ補正は確率行列理論計算によって正確にモデル化可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-31T14:21:02Z)
• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
  GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。 Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。 双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
  論文  参考訳（メタデータ） (2024-06-06T10:46:51Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Layered Models can "Automatically" Regularize and Discover Low-Dimensional Structures via Feature Learning [6.109362130047454]
  入力が線形変換を行い、次に非線形写像によって出力を予測する2層非パラメトリック回帰モデルについて検討する。 2層モデルが正規化を「自動的に」誘導し,特徴学習を容易にすることを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:15:35Z)
• Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
  提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。 我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。 また、線形モード接続仮説の欠点についても論じる。
  論文  参考訳（メタデータ） (2022-09-11T10:44:27Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。