論文の概要: A Method of Selective Attention for Reservoir Based Agents

• arxiv url: http://arxiv.org/abs/2502.21229v1
• Date: Fri, 28 Feb 2025 17:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:10.720584
• Title: A Method of Selective Attention for Reservoir Based Agents
• Title（参考訳）: 貯留層をベースとしたエージェントの選択的注意法
• Authors: Kevin McKee,
• Abstract要約: 層正規化のような既存のモジュールは、選択的な注意の一形態として働くように重量減衰で訓練することができる。 入力マスクの計算に多数のパラメータを加えると、より高速なトレーニングが得られるという驚くべき結果が得られます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Training of deep reinforcement learning agents is slowed considerably by the presence of input dimensions that do not usefully condition the reward function. Existing modules such as layer normalization can be trained with weight decay to act as a form of selective attention, i.e. an input mask, that shrinks the scale of unnecessary inputs, which in turn accelerates training of the policy. However, we find a surprising result that adding numerous parameters to the computation of the input mask results in much faster training. A simple, high dimensional masking module is compared with layer normalization and a model without any input suppression. The high dimensional mask resulted in a four-fold speedup in training over the null hypothesis and a two-fold speedup in training over the layer normalization method.
• Abstract（参考訳）: 深い強化学習エージェントの訓練は、報酬関数を有意に条件付けしない入力次元の存在により、かなり遅くなる。 層正規化のような既存のモジュールは、選択的な注意の一形態、すなわち不要な入力の規模を縮小する入力マスクとして機能し、結果としてポリシーの訓練を加速する。 しかし、入力マスクの計算に多数のパラメータを加えると、より高速なトレーニングが可能になるという驚くべき結果が得られます。 単純な高次元マスキングモジュールを、入力抑制のない層正規化とモデルと比較する。 高次元マスクは、ヌル仮説に対するトレーニングの4倍のスピードアップと、層正規化法に対するトレーニングの2倍のスピードアップをもたらす。

関連論文リスト

• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• SMOOT: Saliency Guided Mask Optimized Online Training [3.024318849346373]
  Saliency-Guided Training (SGT) 手法は、出力に基づいてモデルのトレーニングで顕著な特徴を強調しようとする。 SGTは入力を部分的にマスキングすることで、モデルの最終的な結果をより解釈できるようにする。 本稿では,トレーニング中の入力,精度,モデル損失に基づいて,マスク画像の最適個数を推定する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T19:41:49Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Variance-reduced Language Pretraining via a Mask Proposal Network [5.819397109258169]
  自己指導型学習(英: self-supervised learning, a.k.a.)は、自然言語処理において重要である。 本稿では,勾配分散低減の観点から問題に取り組む。 そこで我々は,マスク提案の最適分布を近似したMAsk Network(MAPNet)を導入した。
  論文  参考訳（メタデータ） (2020-08-12T14:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。