論文の概要: Rethinking Perturbations in Encoder-Decoders for Fast Training

• arxiv url: http://arxiv.org/abs/2104.01853v1
• Date: Mon, 5 Apr 2021 11:06:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:53:26.876760
• Title: Rethinking Perturbations in Encoder-Decoders for Fast Training
• Title（参考訳）: 高速トレーニングのためのエンコーダデコーダの摂動再考
• Authors: Sho Takase and Shun Kiyono
• Abstract要約: 摂動を用いてニューラルモデルを調整する。 逐次列列問題におけるいくつかの摂動を計算時間で比較する。 実験の結果,単語のドロップアウトのような単純な手法は,最近提案された摂動に匹敵する(あるいはより良い)スコアが得られることがわかった。
• 参考スコア（独自算出の注目度）: 19.870554622325415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We often use perturbations to regularize neural models. For neural encoder-decoders, previous studies applied the scheduled sampling (Bengio et al., 2015) and adversarial perturbations (Sato et al., 2019) as perturbations but these methods require considerable computational time. Thus, this study addresses the question of whether these approaches are efficient enough for training time. We compare several perturbations in sequence-to-sequence problems with respect to computational time. Experimental results show that the simple techniques such as word dropout (Gal and Ghahramani, 2016) and random replacement of input tokens achieve comparable (or better) scores to the recently proposed perturbations, even though these simple methods are faster. Our code is publicly available at https://github.com/takase/rethink_perturbations.
• Abstract（参考訳）: 私たちはしばしば神経モデルの規則化に摂動を用いています。 神経エンコーダ・デコーダについては、従来の研究ではスケジュールサンプリング(bengio et al., 2015)と逆摂動(sato et al., 2019)を摂動として適用していたが、これらの方法にはかなりの計算時間を要する。 そこで,本研究では,これらのアプローチが学習時間に十分効果的であるかどうかを問う。 逐次列列問題におけるいくつかの摂動を計算時間で比較する。 実験結果から,単語ドロップアウト(Gal and Ghahramani, 2016)や入力トークンのランダムな置換といった単純な手法は,これらの手法が高速であるにもかかわらず,最近提案された摂動に匹敵する(あるいはより良い)スコアが得られることが示された。 私たちのコードはhttps://github.com/takase/rethink_perturbations.comで公開されています。

関連論文リスト

• CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows [11.108866104714627]
  対実的説明は、望ましい結果を達成するためにサンプルの摂動を生成する解釈可能な機械学習の一形態である。 可変オートエンコーダ (VAE) を用いて実現可能な改善を実現するために, 最先端の対実的説明法を提案する。 我々は,連続的特徴と分類的特徴の混合型に対して正規化フローを利用する,堅牢で効率的な対実的説明フレームワークであるCeFlowを設計する。
  論文  参考訳（メタデータ） (2023-03-26T09:51:04Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• On Principal Curve-Based Classifiers and Similarity-Based Selective Sampling in Time-Series [0.0]
  本稿では,モデル定義における主曲線を構築ブロックとして用いることにより,同じ計算ステップを持つ決定論的選択的サンプリングアルゴリズムを提案する。 オンライン監視装置のラベル付けコストや問題を考えると、ラベルを知っていれば分類器の性能が向上するデータポイントを見つけるアルゴリズムが存在するはずである。
  論文  参考訳（メタデータ） (2022-04-10T07:28:18Z)
• ARCH: Efficient Adversarial Regularized Training with Caching [91.74682538906691]
  逆正則化は、多くの自然言語処理タスクにおけるモデル一般化を改善することができる。 本稿では,複数のエポック毎に摂動を発生・キャッシュする新たな逆正則化手法ARCHを提案する。 提案手法をニューラルネットワーク翻訳と自然言語理解タスクのセットで評価する。
  論文  参考訳（メタデータ） (2021-09-15T02:05:37Z)
• Convolutional Sparse Coding Fast Approximation with Application to Seismic Reflectivity Estimation [9.005280130480308]
  2～5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。 提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
  論文  参考訳（メタデータ） (2021-06-29T12:19:07Z)
• Fast semidefinite programming with feedforward neural networks [0.0]
  本稿では,ニューラルネットワークを用いた実現可能性半定プログラムを提案する。 半確定プログラムを一度でも正確に解くことなく、ネットワークをトレーニングする。 トレーニングされたニューラルネットワークは、従来の解法と比較して、桁違いにスピードが向上することを示している。
  論文  参考訳（メタデータ） (2020-11-11T14:01:34Z)
• Neural Execution Engines: Learning to Execute Subroutines [29.036699193820215]
  本稿では, ソート, 最短経路, 最小スパンニング木などの共通アルゴリズムを構成する数値サブルーチンのレベルでの一般化問題について検討する。 データを一般化するために、バイナリ表現で数値を符号化すると、加算や乗算のような下流のタスクで訓練されたリッチな構造で埋め込みされることを示す。
  論文  参考訳（メタデータ） (2020-06-15T01:51:37Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。