論文の概要: Compositional Learning of Visually-Grounded Concepts Using Reinforcement

• arxiv url: http://arxiv.org/abs/2309.04504v1
• Date: Fri, 8 Sep 2023 07:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 18:10:20.016254
• Title: Compositional Learning of Visually-Grounded Concepts Using Reinforcement
• Title（参考訳）: 強化を用いた視覚領域概念の合成学習
• Authors: Zijun Lin, Haidi Azaman, M Ganesh Kumar, Cheston Tan
• Abstract要約: 空間ナビゲーションタスクにおける新しい組み合わせを解決するために,RLエージェントがカラー形状に基づく命令をいかに学習し,構成するかを示す。 エージェントが形状や色の概念を別々に事前訓練された場合、未知の命令の組み合わせを解決するために必要な訓練エピソードの20倍の減少が示される。 最後に,新しいカラーシェープ1-シェープ2ビジュアルオブジェクトの組み合わせでゼロショットの評価を行うと,概念と構成学習に事前学習したエージェントは,はるかに高い報酬が得られることを示す。
• 参考スコア（独自算出の注目度）: 6.461018127662044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning agents need to be trained over millions of episodes to decently solve navigation tasks grounded to instructions. Furthermore, their ability to generalize to novel combinations of instructions is unclear. Interestingly however, children can decompose language-based instructions and navigate to the referred object, even if they have not seen the combination of queries prior. Hence, we created three 3D environments to investigate how deep RL agents learn and compose color-shape based combinatorial instructions to solve novel combinations in a spatial navigation task. First, we explore if agents can perform compositional learning, and whether they can leverage on frozen text encoders (e.g. CLIP, BERT) to learn word combinations in fewer episodes. Next, we demonstrate that when agents are pretrained on the shape or color concepts separately, they show a 20 times decrease in training episodes needed to solve unseen combinations of instructions. Lastly, we show that agents pretrained on concept and compositional learning achieve significantly higher reward when evaluated zero-shot on novel color-shape1-shape2 visual object combinations. Overall, our results highlight the foundations needed to increase an agent's proficiency in composing word groups through reinforcement learning and its ability for zero-shot generalization to new combinations.
• Abstract（参考訳）: 深層強化学習エージェントは、指示に基づくナビゲーションタスクを適切に解決するために、何百万ものエピソードを訓練する必要があります。 さらに、命令の新たな組み合わせに一般化する能力は明らかでない。 しかし、興味深いことに、子供たちは言語ベースの命令を分解し、クエリの組み合わせを事前に見ていない場合でも参照したオブジェクトにナビゲートすることができる。 そこで我々は,3つの3次元環境を構築し,RLエージェントが空間ナビゲーションタスクにおける新しい組み合わせを解決するために,カラー形状に基づく組合せ命令をどのように学習し,構成するかを調査した。 まず,エージェントが合成学習を行うことができるか,凍ったテキストエンコーダ(クリップ,バートなど)を利用して少ないエピソードで単語の組み合わせを学ぶことができるかを検討する。 次に,エージェントが形状や色の概念を別々に事前学習されると,指示の見当たらない組み合わせを解決するのに必要な訓練エピソードが20倍減少することを示す。 最後に,新しいカラーシェープ1-シェープ2ビジュアルオブジェクトの組み合わせでゼロショットの評価を行うと,概念と構成学習に事前学習したエージェントは高い報酬が得られることを示す。 以上の結果から,強化学習による単語群構築におけるエージェントの能力向上に必要な基礎と,新たな組み合わせへのゼロショット一般化能力を強調した。

関連論文リスト

• Learning of Generalizable and Interpretable Knowledge in Grid-Based Reinforcement Learning Environments [5.217870815854702]
  本稿では,強化学習ポリシーを模倣するプログラム合成を提案する。 我々は,グリッド環境における概念学習に最先端のプログラム合成システムDreamCoderを適用した。
  論文  参考訳（メタデータ） (2023-09-07T11:46:57Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Collaboration of Pre-trained Models Makes Better Few-shot Learner [49.89134194181042]
  少ないショット分類では、限られた訓練画像からのみ、一般化された表現を学習するために、ディープニューラルネットワークが必要である。 最近、CLIPベースの手法は、対照的な言語イメージ事前トレーニングの恩恵を受け、有望な数ショットのパフォーマンスを示している。 我々は,様々な事前学習パラダイムから様々な事前知識を取り入れた事前学習モデルのコラボレーションであるCoMoを提案する。
  論文  参考訳（メタデータ） (2022-09-25T16:23:12Z)
• Reference-Limited Compositional Zero-Shot Learning [19.10692212692771]
  合成ゼロショット学習(CZSL)は、既知の視覚的プリミティブの未知の合成を認識することを指す。 本稿では,メタコンポジショングラフ学習システム(MetaCGL)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T03:58:02Z)
• Modular Lifelong Reinforcement Learning via Neural Composition [31.561979764372886]
  人間は通常、それらをより簡単なサブプロブレムに分解し、サブプロブレムの解を組み合わせることで複雑な問題を解く。 このタイプの構成推論は、基礎となる構成構造の一部を共有する将来のタスクに取り組む際に、サブプロブレム解の再利用を可能にする。 連続的または生涯にわたる強化学習(RL)では、この知識を再利用可能なコンポーネントに分解する能力により、エージェントは新しいRLタスクを迅速に学習することができる。
  論文  参考訳（メタデータ） (2022-07-01T13:48:29Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Meta-Learning to Compositionally Generalize [34.656819307701156]
  教師あり学習のメタラーニング拡張版を実装した。 既存のトレーニングデータをサブサンプリングすることでメタ学習のためのタスクのペアを構築する。 COGSおよびSCANデータセットの実験結果から、類似性駆動型メタラーニングにより一般化性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-06-08T11:21:48Z)
• Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly [114.81028176850404]
  限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。 データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する。 このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中することができます。
  論文  参考訳（メタデータ） (2021-02-28T05:20:29Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。