論文の概要: Learning Randomized Algorithms with Transformers
- arxiv url: http://arxiv.org/abs/2408.10818v1
- Date: Tue, 20 Aug 2024 13:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 13:35:12.729421
- Title: Learning Randomized Algorithms with Transformers
- Title（参考訳）: 変圧器を用いたランダム化アルゴリズムの学習
- Authors: Johannes von Oswald, Seijin Kobayashi, Yassir Akram, Angelika Steger,
- Abstract要約: 本稿では,深層ニューラルネットワーク,特にトランスフォーマーモデルをランダム化して拡張する。
ランダム化されたアルゴリズムは、学習を通じて、純粋にデータと客観的に駆動された方法でトランスフォーマーに組み込むことができることを初めて実証する。
- 参考スコア（独自算出の注目度）: 8.556706939126146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Randomization is a powerful tool that endows algorithms with remarkable properties. For instance, randomized algorithms excel in adversarial settings, often surpassing the worst-case performance of deterministic algorithms with large margins. Furthermore, their success probability can be amplified by simple strategies such as repetition and majority voting. In this paper, we enhance deep neural networks, in particular transformer models, with randomization. We demonstrate for the first time that randomized algorithms can be instilled in transformers through learning, in a purely data- and objective-driven manner. First, we analyze known adversarial objectives for which randomized algorithms offer a distinct advantage over deterministic ones. We then show that common optimization techniques, such as gradient descent or evolutionary strategies, can effectively learn transformer parameters that make use of the randomness provided to the model. To illustrate the broad applicability of randomization in empowering neural networks, we study three conceptual tasks: associative recall, graph coloring, and agents that explore grid worlds. In addition to demonstrating increased robustness against oblivious adversaries through learned randomization, our experiments reveal remarkable performance improvements due to the inherently random nature of the neural networks' computation and predictions.
- Abstract（参考訳）: ランダム化はアルゴリズムに顕著な特性を与える強力なツールです。
例えば、ランダム化されたアルゴリズムは敵の設定で優れ、しばしば大きなマージンを持つ決定論的アルゴリズムの最悪の性能を上回る。
さらに、その成功確率は、繰り返しや多数決のような単純な戦略によって増幅することができる。
本稿では,深層ニューラルネットワーク,特にトランスフォーマーモデルをランダム化して拡張する。
ランダム化されたアルゴリズムは、学習を通じて、純粋にデータと客観的に駆動された方法でトランスフォーマーに組み込むことができることを初めて実証する。
まず、ランダム化アルゴリズムが決定論的アルゴリズムよりも明確な優位性をもたらす既知の対向目的を解析する。
次に、勾配降下や進化戦略のような一般的な最適化手法が、モデルに与えられたランダム性を利用する変換子パラメータを効果的に学習できることを示す。
ニューラルネットワークの強化におけるランダム化の広範な適用性を説明するために,アソシエーションリコール,グラフカラー化,グリッド世界を探索するエージェントという,3つの概念的タスクについて検討した。
学習したランダム化による難解な敵に対するロバスト性の向上に加えて、ニューラルネットワークの計算と予測の本質的にランダムな性質により、我々の実験は顕著な性能向上を示した。
関連論文リスト
- Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks [4.643954670642798]
本稿では,Deep Neural Networks(DNN)における様々なランダム化手法について検討する。
テクニックは、損失関数にノイズを加える、ランダムな勾配更新をマスキングする、データ拡張と重み一般化の4つのタイプに分類される。
完全な実装とデータセットはGitHubで入手できる。
論文 参考訳（メタデータ） (2024-04-05T10:02:32Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。
我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。
本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文 参考訳（メタデータ） (2023-09-11T22:42:50Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - Randomized Adversarial Style Perturbations for Domain Generalization [49.888364462991234]
本稿では,RASP(Randomized Adversarial Style Perturbation)と呼ばれる新しい領域一般化手法を提案する。
提案アルゴリズムは, ランダムに選択されたクラスに対して, 対角方向の特徴のスタイルを乱し, 予期せぬ対象領域で観測される予期せぬスタイルに誤解されないよう, モデルを学習させる。
提案アルゴリズムは,様々なベンチマークによる広範な実験により評価され,特に大規模ベンチマークにおいて,領域一般化性能が向上することを示す。
論文 参考訳（メタデータ） (2023-04-04T17:07:06Z) - Quantifying Inherent Randomness in Machine Learning Algorithms [7.591218883378448]
本稿では,モデル学習におけるランダム性,およびデータセットのトレーニングおよびテストサブセットへの分割におけるランダム性の影響を実験的に検討する。
我々は、ランダムフォレスト(RF)、グラディエントブースティングマシン(GBM)、フィードフォワードニューラルネットワーク(FFNN)の予測性能の変動の大きさを定量化し、比較する。
論文 参考訳（メタデータ） (2022-06-24T15:49:52Z) - Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。
ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。
本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
論文 参考訳（メタデータ） (2022-02-03T00:05:08Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Neural Network Adversarial Attack Method Based on Improved Genetic
Algorithm [0.0]
改良された遺伝的アルゴリズムに基づくニューラルネットワーク逆攻撃法を提案する。
この方法は、ニューラルネットワークモデルの内部構造やパラメータ情報を必要としない。
論文 参考訳（メタデータ） (2021-10-05T04:46:16Z) - Adaptive Random Quantum Eigensolver [0.0]
本稿では,乱数生成器の確率密度関数のパラメータ化と最適化を行う一般手法を提案する。
私たちの最適化は、学習速度と学習精度の2つのメリットに基づいています。
論文 参考訳（メタデータ） (2021-06-28T12:01:05Z) - Neural Random Forest Imitation [24.02961053662835]
我々は、ランダムな森林からトレーニングデータを生成し、その振る舞いを模倣するニューラルネットワークを学習することで、模倣学習アプローチを導入する。
この暗黙的な変換は、ランダムな森林の決定境界を学習する非常に効率的なニューラルネットワークを生成する。
いくつかの実世界のベンチマークデータセットの実験は、優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2019-11-25T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。