Fugu-MT 論文翻訳(概要): Swim: A General-Purpose, High-Performing, and Efficient Activation Function for Locomotion Control Tasks

論文の概要: Swim: A General-Purpose, High-Performing, and Efficient Activation Function for Locomotion Control Tasks

arxiv url: http://arxiv.org/abs/2303.02640v1
Date: Sun, 5 Mar 2023 11:04:33 GMT
ステータス: 処理完了
システム内更新日: 2023-03-07 18:33:23.145614
Title: Swim: A General-Purpose, High-Performing, and Efficient Activation Function for Locomotion Control Tasks
Title（参考訳）: Swim: 移動制御タスクのための汎用・高性能・効率的な活性化機能
Authors: Maryam Abdool and Tony Dear
Abstract要約: 活性化関数はディープラーニングアルゴリズムの性能において重要な役割を果たす。特に、スウェーデンのアクティベーション関数はより深いモデルでReLUを上回る傾向にある。我々はSwishの汎用的で効率的で高性能な代替手段であるSwimを提案する。
参考スコア（独自算出の注目度）: 0.2538209532048866
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Activation functions play a significant role in the performance of deep learning algorithms. In particular, the Swish activation function tends to outperform ReLU on deeper models, including deep reinforcement learning models, across challenging tasks. Despite this progress, ReLU is the preferred function partly because it is more efficient than Swish. Furthermore, in contrast to the fields of computer vision and natural language processing, the deep reinforcement learning and robotics domains have seen less inclination to adopt new activation functions, such as Swish, and instead continue to use more traditional functions, like ReLU. To tackle those issues, we propose Swim, a general-purpose, efficient, and high-performing alternative to Swish, and then provide an analysis of its properties as well as an explanation for its high-performance relative to Swish, in terms of both reward-achievement and efficiency. We focus on testing Swim on MuJoCo's locomotion continuous control tasks since they exhibit more complex dynamics and would therefore benefit most from a high-performing and efficient activation function. We also use the TD3 algorithm in conjunction with Swim and explain this choice in the context of the robot locomotion domain. We then conclude that Swim is a state-of-the-art activation function for continuous control locomotion tasks and recommend using it with TD3 as a working framework.
Abstract（参考訳）: 活性化関数はディープラーニングアルゴリズムの性能において重要な役割を果たす。特に、スウェーデンのアクティベーション機能は、深い強化学習モデルを含むより深いモデルにおいて、困難なタスクでReLUを上回る傾向にある。この進歩にもかかわらず、ReLUはSwishよりも効率的であるため、好まれる機能である。さらに、コンピュータビジョンや自然言語処理の分野とは対照的に、深層強化学習やロボット工学の領域では、swishのような新しいアクティベーション機能を採用する傾向が少なく、代わりにreluのような従来の機能を使い続けている。これらの課題に対処するため,SwimはSwishの汎用的で効率的かつ高性能な代替品であり,その特性の解析と,報酬獲得と効率の両面から,Swishに対する高性能性の説明を提供する。より複雑なダイナミクスを示し、ハイパフォーマンスで効率的なアクティベーション関数の恩恵を受けるため、mujocoのロコモーション連続制御タスクでスイムをテストすることに重点を置いています。また、Swimと組み合わせてTD3アルゴリズムを使用し、ロボットの移動領域の文脈でこの選択を説明する。スイムは連続制御ロコモーションタスクのための最先端のアクティベーション関数であり、td3を動作フレームワークとして使用することを推奨する。

関連論文リスト

Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2025-01-12T17:41:23Z)
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
本稿では,新しい値に基づく強化学習アルゴリズムであるCQN-AS(Coarse-to-fine Q-Network with Action Sequence)を紹介する。我々は,53のロボットタスクに対して,疎密かつ高密度な報酬と実演と無実の報酬を用いたアルゴリズムを検討した。
論文参考訳（メタデータ） (2024-11-19T01:23:52Z)
Trainable Highly-expressive Activation Functions [8.662179223772089]
トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
論文参考訳（メタデータ） (2024-07-10T11:49:29Z)
RILe: Reinforced Imitation Learning [60.63173816209543]
RILeは、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
論文参考訳（メタデータ） (2024-06-12T17:56:31Z)
ErfReLU: Adaptive Activation Function for Deep Neural Network [1.9336815376402716]
近年の研究では、出力に非線形性を加えるために選択されたアクティベーション関数が、ディープラーニングネットワークの有効性に大きな影響を与えることが報告されている。研究者は最近、学習プロセスを通してトレーニングできるアクティベーション関数の開発を始めた。 Sigmoid、ReLU、Tanhなどのアートアクティベーション機能とその特性について、簡単に説明されている。
論文参考訳（メタデータ） (2023-06-02T13:41:47Z)
Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文参考訳（メタデータ） (2023-01-13T23:11:14Z)
Learning Action-Effect Dynamics for Hypothetical Vision-Language Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文参考訳（メタデータ） (2022-12-07T05:41:58Z)
Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文参考訳（メタデータ） (2022-08-30T09:47:31Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Activation Functions: Dive into an optimal activation function [1.52292571922932]
既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
論文参考訳（メタデータ） (2022-02-24T12:44:11Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。