論文の概要: Compete and Compose: Learning Independent Mechanisms for Modular World Models

• arxiv url: http://arxiv.org/abs/2404.15109v1
• Date: Tue, 23 Apr 2024 15:03:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:32:19.107283
• Title: Compete and Compose: Learning Independent Mechanisms for Modular World Models
• Title（参考訳）: Compete and Compose: モジュール世界モデルのための独立したメカニズムの学習
• Authors: Anson Lei, Frederik Nolte, Bernhard Schölkopf, Ingmar Posner,
• Abstract要約: 異なる環境における再利用可能な独立したメカニズムを活用するモジュール型世界モデルであるCOMETを提案する。 COMETは、コンペティションとコンポジションという2段階のプロセスを通じて、動的に変化する複数の環境でトレーニングされている。 COMETは,従来のファインタニング手法に比べて,サンプル効率が向上し,多様なオブジェクト数で新しい環境に適応できることを示す。
• 参考スコア（独自算出の注目度）: 57.94106862271727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present COmpetitive Mechanisms for Efficient Transfer (COMET), a modular world model which leverages reusable, independent mechanisms across different environments. COMET is trained on multiple environments with varying dynamics via a two-step process: competition and composition. This enables the model to recognise and learn transferable mechanisms. Specifically, in the competition phase, COMET is trained with a winner-takes-all gradient allocation, encouraging the emergence of independent mechanisms. These are then re-used in the composition phase, where COMET learns to re-compose learnt mechanisms in ways that capture the dynamics of intervened environments. In so doing, COMET explicitly reuses prior knowledge, enabling efficient and interpretable adaptation. We evaluate COMET on environments with image-based observations. In contrast to competitive baselines, we demonstrate that COMET captures recognisable mechanisms without supervision. Moreover, we show that COMET is able to adapt to new environments with varying numbers of objects with improved sample efficiency compared to more conventional finetuning approaches.
• Abstract（参考訳）: 異なる環境における再利用可能な独立したメカニズムを活用するモジュール型世界モデルであるCOMET(Commpetitive Mechanisms for Efficient Transfer)を提案する。 COMETは、コンペティションとコンポジションという2段階のプロセスを通じて、動的に変化する複数の環境でトレーニングされている。 これにより、モデルが認識し、伝達可能なメカニズムを学ぶことができる。 具体的には、コンペティションフェーズでは、COMETは勝者の全てをグラデーションアロケーションでトレーニングし、独立したメカニズムの出現を奨励する。 これらはコンポジションフェーズで再利用され、COMETは、インターベンションされた環境のダイナミクスを捉える方法で学習機構を再構成することを学ぶ。 そのため、COMETは事前知識を明示的に再利用し、効率的かつ解釈可能な適応を可能にする。 画像に基づく観測により,COMETを環境上で評価する。 競合するベースラインとは対照的に、COMETは監視なしで認識可能なメカニズムをキャプチャすることを示した。 さらに, COMETは, 従来のファインタニング手法と比較して, サンプル効率を向上し, 多様なオブジェクト数で新しい環境に適応できることを示す。

関連論文リスト

• Competition of Mechanisms: Tracing How Language Models Handle Facts and Counterfactuals [82.68757839524677]
  解釈可能性研究は、経験的成功と大規模言語モデル(LLM)の科学的理解のギャップを埋めることを目的としている。 本稿では,個々のメカニズムではなく,複数のメカニズムの相互作用に着目した,メカニズムの競合の定式化を提案する。 本研究は, 種々のモデル成分間の機構とその競合の痕跡を示し, 特定の機構の強度を効果的に制御する注意位置を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T17:26:51Z)
• Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving [49.03947018718156]
  協調的な知覚の訓練と推論の段階で利用される統合されたドメイン一般化フレームワークを提案する。 また、システム内ドメインアライメント機構を導入し、コネクテッドおよび自律走行車間のドメインの差を減らし、潜在的に排除する。
  論文  参考訳（メタデータ） (2023-11-28T12:52:49Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Cycle-Consistent World Models for Domain Independent Latent Imagination [0.0]
  高いコストとリスクは、現実世界での自動運転車の訓練を困難にします。 本稿では,Cycleconsistent World Modelsと呼ばれる新しいモデルに基づく強化学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-02T13:55:50Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• Learning Robust Models Using The Principle of Independent Causal Mechanisms [26.79262903241044]
  ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。 理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T15:38:01Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。