論文の概要: RankNEAT: Outperforming Stochastic Gradient Search in Preference Learning Tasks

• arxiv url: http://arxiv.org/abs/2204.06901v1
• Date: Thu, 14 Apr 2022 12:01:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 14:00:26.807000
• Title: RankNEAT: Outperforming Stochastic Gradient Search in Preference Learning Tasks
• Title（参考訳）: RankNEAT: 優先学習課題における確率的勾配探索の性能
• Authors: Kosmas Pinitas, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis
• Abstract要約: 勾配降下 (SGD) はニューラルネットワークのトレーニングのための最適化手法である。 本稿では,拡張トポロジの神経進化を通じてランク付けを学習するRanneATアルゴリズムを提案する。 以上の結果から,RanneATは選好学習の代替として,有効かつ効率のよい進化的手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.570570340104555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) is a premium optimization method for training neural networks, especially for learning objectively defined labels such as image objects and events. When a neural network is instead faced with subjectively defined labels--such as human demonstrations or annotations--SGD may struggle to explore the deceptive and noisy loss landscapes caused by the inherent bias and subjectivity of humans. While neural networks are often trained via preference learning algorithms in an effort to eliminate such data noise, the de facto training methods rely on gradient descent. Motivated by the lack of empirical studies on the impact of evolutionary search to the training of preference learners, we introduce the RankNEAT algorithm which learns to rank through neuroevolution of augmenting topologies. We test the hypothesis that RankNEAT outperforms traditional gradient-based preference learning within the affective computing domain, in particular predicting annotated player arousal from the game footage of three dissimilar games. RankNEAT yields superior performances compared to the gradient-based preference learner (RankNet) in the majority of experiments since its architecture optimization capacity acts as an efficient feature selection mechanism, thereby, eliminating overfitting. Results suggest that RankNEAT is a viable and highly efficient evolutionary alternative to preference learning.
• Abstract（参考訳）: 確率勾配降下(sgd)はニューラルネットワークのトレーニング、特に画像オブジェクトやイベントなどの客観的に定義されたラベルを学習するための最適化手法である。 ニューラルネットワークが主観的に定義されたラベル(人間のデモンストレーションやアノテーションなど)に直面する場合、SGDは人間の本質的な偏見や主観性によって引き起こされる偽りや騒々しい損失の状況を調べるのに苦労する可能性がある。 ニューラルネットワークは、そのようなデータノイズを排除するために、優先学習アルゴリズムを介してトレーニングされることが多いが、デファクトトレーニング手法は勾配降下に依存している。 進化探索が嗜好学習者の訓練に与える影響に関する実証的研究が欠如していることから,増大するトポロジの神経進化を通じてランク付けを学ぶRanneATアルゴリズムを導入する。 RankNEATは、感情コンピューティング領域における従来の勾配に基づく嗜好学習よりも優れており、特に3つの異なるゲームのゲーム映像から注釈付きプレイヤーの覚醒を予測している。 RankNEATは、アーキテクチャ最適化能力が効率的な特徴選択機構として機能するため、多くの実験において勾配に基づく選好学習者(RankNet)と比較して優れた性能が得られる。 以上の結果から,RanneATは選好学習の代替として,有効かつ効率のよい進化的手法であることが示唆された。

関連論文リスト

• Simmering: Sufficient is better than optimal for training neural networks [0.0]
  これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。 我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。 本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
  論文  参考訳（メタデータ） (2024-10-25T18:02:08Z)
• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Forward-Forward Algorithm for Hyperspectral Image Classification: A Preliminary Study [0.0]
  フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。 本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
  論文  参考訳（メタデータ） (2023-07-01T05:39:28Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results [25.12291688711645]
  物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。 優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
  論文  参考訳（メタデータ） (2022-12-15T05:54:16Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。