論文の概要: Ignorance is Bliss: Robust Control via Information Gating
- arxiv url: http://arxiv.org/abs/2303.06121v2
- Date: Fri, 8 Dec 2023 20:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 22:55:58.466110
- Title: Ignorance is Bliss: Robust Control via Information Gating
- Title（参考訳）: 曖昧さ - 情報ゲーティングによるロバスト制御
- Authors: Manan Tomar, Riashat Islam, Matthew E. Taylor, Sergey Levine, Philip
Bachman
- Abstract要約: 情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。
本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
- 参考スコア（独自算出の注目度）: 60.17644038829572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Informational parsimony provides a useful inductive bias for learning
representations that achieve better generalization by being robust to noise and
spurious correlations. We propose \textit{information gating} as a way to learn
parsimonious representations that identify the minimal information required for
a task. When gating information, we can learn to reveal as little information
as possible so that a task remains solvable, or hide as little information as
possible so that a task becomes unsolvable. We gate information using a
differentiable parameterization of the signal-to-noise ratio, which can be
applied to arbitrary values in a network, e.g., erasing pixels at the input
layer or activations in some intermediate layer. When gating at the input
layer, our models learn which visual cues matter for a given task. When gating
intermediate layers, our models learn which activations are needed for
subsequent stages of computation. We call our approach \textit{InfoGating}. We
apply InfoGating to various objectives such as multi-step forward and inverse
dynamics models, Q-learning, and behavior cloning, highlighting how InfoGating
can naturally help in discarding information not relevant for control. Results
show that learning to identify and use minimal information can improve
generalization in downstream tasks. Policies based on InfoGating are
considerably more robust to irrelevant visual features, leading to improved
pretraining and finetuning of RL models.
- Abstract（参考訳）: 情報的パシモニーは、雑音やスプリアス相関に頑健であり、より良い一般化を達成する学習表現のための有用な帰納的バイアスを提供する。
タスクに必要な最小限の情報を識別する専門的な表現を学習する方法として, \textit{information gating}を提案する。
情報をゲートすると、タスクが解決可能なままにできる限り小さな情報を明らかにするか、タスクが解決不能になるようにできる限り小さな情報を隠すことを学ぶことができる。
我々は、入力層における画素の消去や中間層におけるアクティベーションなど、ネットワーク内の任意の値に適用可能な信号対雑音比の微分可能なパラメータ化を用いてゲート情報をゲートする。
入力層をゲートすると、与えられたタスクに対してどの視覚手がかりが重要なのかをモデルが学習します。
中間層をゲーティングするとき、我々のモデルはその後の計算の段階でどのアクティベーションが必要なのかを学習する。
私たちはアプローチを textit{InfoGating} と呼びます。
我々はInfoGatingを多段階フォワードや逆ダイナミクスモデル、Qラーニング、行動クローニングといった様々な目的に適用し、InfoGatingが制御に関係のない情報を捨てるのにどのように役立つかを強調した。
その結果、最小の情報を識別し使用する学習は、下流タスクの一般化を改善できることが示されている。
InfoGatingに基づくポリシーは、無関係な視覚的特徴に対してかなり堅牢であり、RLモデルの事前訓練と微調整の改善につながっている。
関連論文リスト
- Meta-Learning Online Adaptation of Language Models [88.8947656843812]
大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。
しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
論文 参考訳（メタデータ） (2023-05-24T11:56:20Z) - FUNCK: Information Funnels and Bottlenecks for Invariant Representation
Learning [7.804994311050265]
データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。
本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。
一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
論文 参考訳（メタデータ） (2022-11-02T19:37:55Z) - Denoised MDPs: Learning World Models Better Than the World Itself [94.74665254213588]
本研究は,野生の情報を制御可能性と報酬との関係に基づく4つのタイプに分類し,制御性および報酬関連性の両方に有用な情報を定式化する。
DeepMind Control Suite と RoboDesk の変種に関する実験では、生の観測のみを用いた場合よりも、認知された世界モデルの優れた性能が示されている。
論文 参考訳（メタデータ） (2022-06-30T17:59:49Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳（メタデータ） (2021-06-05T10:51:26Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Looking back to lower-level information in few-shot learning [4.873362301533825]
本稿では,隠れたニューラルネットワーク層の特徴埋め込みを低レベル支援情報として活用し,分類精度を向上させることを提案する。
筆者らは,MiniImageNet と tieredImageNet という2つの人気の数点学習データセットを用いた実験を行い,この手法がネットワークの低レベル情報を利用して最先端の分類性能を向上できることを示した。
論文 参考訳（メタデータ） (2020-05-27T20:32:13Z) - Vector-Quantized Autoregressive Predictive Coding [31.4011465698136]
本稿では,Vector-Quantized Autoregressive Predictive Coding (VQ-APC)を提案する。
制限されたモデルの列を研究することで、学習された表現の構成要素を明らかにする。
音声情報や話者情報を増幅して、自己監督対象を最大化する点が存在することがわかった。
論文 参考訳（メタデータ） (2020-05-17T23:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。