論文の概要: Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search
- arxiv url: http://arxiv.org/abs/2212.14849v1
- Date: Fri, 30 Dec 2022 17:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 15:48:25.223342
- Title: Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search
- Title（参考訳）: シンボリックビジュアル強化学習:オブジェクトレベルの抽象化と微分可能な表現検索を備えたスケーラブルなフレームワーク
- Authors: Wenqing Zheng, S P Sharan, Zhiwen Fan, Kevin Wang, Yihan Xi, Zhangyang
Wang
- Abstract要約: DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。
我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
- 参考スコア（独自算出の注目度）: 63.3745291252038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning efficient and interpretable policies has been a challenging task in
reinforcement learning (RL), particularly in the visual RL setting with complex
scenes. While neural networks have achieved competitive performance, the
resulting policies are often over-parameterized black boxes that are difficult
to interpret and deploy efficiently. More recent symbolic RL frameworks have
shown that high-level domain-specific programming logic can be designed to
handle both policy learning and symbolic planning. However, these approaches
rely on coded primitives with little feature learning, and when applied to
high-dimensional visual scenes, they can suffer from scalability issues and
perform poorly when images have complex object interactions. To address these
challenges, we propose \textit{Differentiable Symbolic Expression Search}
(DiffSES), a novel symbolic learning approach that discovers discrete symbolic
policies using partially differentiable optimization. By using object-level
abstractions instead of raw pixel-level inputs, DiffSES is able to leverage the
simplicity and scalability advantages of symbolic expressions, while also
incorporating the strengths of neural networks for feature learning and
optimization. Our experiments demonstrate that DiffSES is able to generate
symbolic policies that are simpler and more and scalable than state-of-the-art
symbolic RL methods, with a reduced amount of symbolic prior knowledge.
- Abstract（参考訳）: 学習効率が高く解釈可能なポリシは強化学習(RL)において,特に複雑な場面の視覚的RL設定において難しい課題となっている。
ニューラルネットワークは競争力のある性能を達成したが、結果として得られるポリシーは、しばしば過度にパラメータ化されたブラックボックスである。
最近のシンボリックRLフレームワークは、ポリシー学習とシンボリックプランニングの両方を扱うために高レベルのドメイン固有プログラミングロジックを設計できることを示した。
しかし、これらのアプローチは機能学習の少ないコード化されたプリミティブに依存しており、高次元の視覚シーンに適用すると、画像が複雑なオブジェクト相互作用を持つ場合、スケーラビリティの問題に悩まされ、性能が低下する可能性がある。
これらの課題に対処するために,部分微分可能最適化を用いて個別のシンボルポリシーを発見する新しいシンボリック学習手法である \textit{Differentiable Symbolic Expression Search} (DiffSES) を提案する。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現のシンプルさとスケーラビリティの利点を活用すると同時に、ニューラルネットワークの長所を機能学習と最適化に活用することができる。
我々の実験は、DiffSESが最先端の記号的RL法よりもシンプルでスケーラブルな記号的ポリシーを、より少ない量の記号的事前知識で生成できることを実証した。
関連論文リスト
- The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - Efficient Symbolic Policy Learning with Differentiable Symbolic
Expression [30.855457609733637]
本稿では, ゼロから端から端まで, シンボリックポリシーを学習する学習手法を提案する。
また,シングルタスクRLでのみ動作する従来のシンボルポリシとは対照的に,メタRL上でESPLを拡張して,目に見えないタスクのシンボリックポリシを生成する。
論文 参考訳（メタデータ） (2023-11-02T03:27:51Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - Goal Space Abstraction in Hierarchical Reinforcement Learning via
Set-Based Reachability Analysis [0.5409704301731713]
本稿では,目標表現と階層的ポリシの両方を同時に学習するFeudal HRLアルゴリズムを提案する。
複雑なナビゲーションタスクに対する我々のアプローチを評価し、学習された表現が解釈可能で、転送可能であり、データ効率のよい学習結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-09-14T12:39:26Z) - Goal Space Abstraction in Hierarchical Reinforcement Learning via
Reachability Analysis [0.0]
本研究では,環境状態の集合を抽象化する創発的表現によるサブゴール発見のための発達機構を提案する。
我々は、この表現をポリシーとともに徐々に学習し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であり、結果としてデータ効率が向上することを示すHRLアルゴリズムを作成する。
論文 参考訳（メタデータ） (2023-09-12T06:53:11Z) - Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。
具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
論文 参考訳（メタデータ） (2023-05-30T01:38:54Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳（メタデータ） (2023-03-06T18:13:14Z) - Emergent Symbols through Binding in External Memory [2.3562267625320352]
本稿では,外部メモリを付加したリカレントネットワークであるEmergent Symbol Binding Network (ESBN)を紹介する。
このバインディングメカニズムにより、シンボル処理機械を明示的に組み込むことなく、学習プロセスを通じてシンボルのような表現が現れます。
一連のタスクを通じて、このアーキテクチャは学習したルールのほぼ完全な一般化を新しい実体に示すことを示しています。
論文 参考訳（メタデータ） (2020-12-29T04:28:32Z) - Synbols: Probing Learning Algorithms with Synthetic Datasets [112.45883250213272]
Synbolsは、低解像度画像にレンダリングされた潜在機能のリッチな構成で、新しいデータセットを高速に生成するツールである。
ツールの高レベルインターフェースは、潜在機能で新しいディストリビューションを高速に生成するための言語を提供する。
Synbolsの汎用性を示すために,各種学習環境における標準学習アルゴリズムの限界と欠陥を識別するために,本手法を用いる。
論文 参考訳（メタデータ） (2020-09-14T13:03:27Z) - Symbol Spotting on Digital Architectural Floor Plans Using a Deep
Learning-based Framework [76.70609932823149]
本稿では,ディープラーニング(DL)フレームワークを用いた実世界のデジタル建築フロア計画のシンボルスポッティングに焦点を当てた。
本稿では,DLベースのオブジェクト検出ネットワークに特有な問題を避けるため,タイルに基づくトレーニング戦略を提案する。
実世界のフロアプランにおける実験により,クラス内類似度が低く,図形的複雑性が変化するアーキテクチャシンボルの検出に成功していることが示された。
論文 参考訳（メタデータ） (2020-06-01T03:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。