論文の概要: Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning

• arxiv url: http://arxiv.org/abs/2405.19885v2
• Date: Wed, 5 Jun 2024 09:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:09:17.660726
• Title: Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning
• Title（参考訳）: 身体学習におけるリアルタイム意思決定のためのフーリエ制御ネットワーク
• Authors: Hengkai Tan, Songming Liu, Kai Ma, Chengyang Ying, Xingxing Zhang, Hang Su, Jun Zhu,
• Abstract要約: Transformerは、時間変化のある特徴をモデル化するための強化学習を約束している。 データ効率の低下と推論遅延の低さに悩まされている。 本稿では,周波数領域の新しい視点から課題を考察する。
• 参考スコア（独自算出の注目度）: 42.862705980039784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer has shown promise in reinforcement learning to model time-varying features for obtaining generalized low-level robot policies on diverse robotics datasets in embodied learning. However, it still suffers from the issues of low data efficiency and high inference latency. In this paper, we propose to investigate the task from a new perspective of the frequency domain. We first observe that the energy density in the frequency domain of a robot's trajectory is mainly concentrated in the low-frequency part. Then, we present the Fourier Controller Network (FCNet), a new network that uses Short-Time Fourier Transform (STFT) to extract and encode time-varying features through frequency domain interpolation. In order to do real-time decision-making, we further adopt FFT and Sliding DFT methods in the model architecture to achieve parallel training and efficient recurrent inference. Extensive results in both simulated (e.g., D4RL) and real-world environments (e.g., robot locomotion) demonstrate FCNet's substantial efficiency and effectiveness over existing methods such as Transformer, e.g., FCNet outperforms Transformer on multi-environmental robotics datasets of all types of sizes (from 1.9M to 120M). The project page and code can be found https://thkkk.github.io/fcnet.
• Abstract（参考訳）: トランスフォーマーは、多種多様なロボティクスデータセットに対する一般化された低レベルロボットポリシーを具体化学習で得るために、時間変化のある特徴をモデル化する強化学習の可能性を示してきた。 しかし、データ効率の低さと推論遅延の低さに悩まされている。 本稿では,周波数領域の新しい視点から課題を考察する。 まず、ロボットの軌道の周波数領域におけるエネルギー密度は、主に低周波部分に集中していることを確認する。 次に、ショートタイムフーリエ変換(STFT)を用いた周波数領域補間による時間変化特徴の抽出とエンコードを行う新しいネットワークであるFCNetを提案する。 リアルタイム意思決定のために,FFT法とSliding DFT法をモデルアーキテクチャに適用し,並列トレーニングと効率的な再帰推論を実現する。 シミュレーション(例:D4RL)と実世界の環境(例:ロボットの移動)の両方において、FCNetはTransformer、eg、FCNetといった既存の手法よりも大幅に効率と有効性を示しており、Transformerはあらゆる種類のサイズ(例:1.9Mから120M)のマルチ環境ロボットデータセット上で、トランスフォーマーを上回っている。 プロジェクトページとコードはhttps://thkk.github.io/fcnet.com/で見ることができる。

関連論文リスト

• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Fast-FNet: Accelerating Transformer Encoder Models via Efficient Fourier Layers [0.0]
  トランスフォーマーベースの言語モデルは、ほぼすべての自然言語処理(NLP)タスクにおいて、大幅なパフォーマンス向上のためにアテンションメカニズムを利用する。 最近の研究は、計算不効率の欠点を取り除くことに重点を置いており、トランスフォーマーベースのモデルが注意層を使わずに競争結果に到達できることを示した。 先駆的な研究は、アテンション層をトランスフォーマーエンコーダアーキテクチャのフーリエ変換(FT)に置き換えるFNetを提案した。
  論文  参考訳（メタデータ） (2022-09-26T16:23:02Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Efficient Trainable Front-Ends for Neural Speech Enhancement [22.313111311130665]
  本稿では,高速フーリエ変換を演算するバタフライ機構に基づく,効率的で訓練可能なフロントエンドを提案する。 我々はその精度と効率の利点を低計算型ニューラル音声強調モデルに示す。
  論文  参考訳（メタデータ） (2020-02-20T01:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。