Fugu-MT 論文翻訳(概要): A Transformer-based Neural Architecture Search Method

論文の概要: A Transformer-based Neural Architecture Search Method

arxiv url: http://arxiv.org/abs/2505.01314v1
Date: Fri, 02 May 2025 14:40:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-05 17:21:20.064718
Title: A Transformer-based Neural Architecture Search Method
Title（参考訳）: 変圧器を用いたニューラルアーキテクチャ探索法
Authors: Shang Wang, Huanrong Tang, Jianquan Ouyang,
Abstract要約: 我々は、BLEUスコアに加えてアルゴリズムの補助評価指標としてパープレキシティを考察する。実験の結果,アルゴリズムによって探索されたニューラルネットワーク構造は,すべてのベースラインモデルより優れていた。
参考スコア（独自算出の注目度）: 2.498836880652668
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a neural architecture search method based on Transformer architecture, searching cross multihead attention computation ways for different number of encoder and decoder combinations. In order to search for neural network structures with better translation results, we considered perplexity as an auxiliary evaluation metric for the algorithm in addition to BLEU scores and iteratively improved each individual neural network within the population by a multi-objective genetic algorithm. Experimental results show that the neural network structures searched by the algorithm outperform all the baseline models, and that the introduction of the auxiliary evaluation metric can find better models than considering only the BLEU score as an evaluation metric.
Abstract（参考訳）: 本稿では,トランスフォーマーアーキテクチャに基づくニューラルアーキテクチャ探索手法を提案する。より優れた翻訳結果を持つニューラルネットワーク構造を探索するため, BLEUスコアに加えて, パープレキシティをアルゴリズムの補助評価指標として検討し, 多目的遺伝的アルゴリズムにより個体群内の個々のニューラルネットワークを反復的に改善した。実験の結果,アルゴリズムによって探索されたニューラルネットワーク構造は,すべてのベースラインモデルより優れており,補助評価指標の導入は,BLEUスコアのみを評価指標として考慮するよりも優れたモデルを見出すことができることがわかった。

関連論文リスト

An automatic selection of optimal recurrent neural network architecture for processes dynamics modelling purposes [0.0]
この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
論文参考訳（メタデータ） (2023-09-25T11:06:35Z)
Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文参考訳（メタデータ） (2023-05-26T04:34:28Z)
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-03-13T14:27:34Z)
A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文参考訳（メタデータ） (2022-11-22T16:30:33Z)
Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文参考訳（メタデータ） (2021-05-27T12:27:24Z)
Genetic U-Net: Automatically Designed Deep Networks for Retinal Vessel Segmentation Using a Genetic Algorithm [2.6629444004809826]
遺伝的U-Netは、より優れた網膜血管セグメンテーションを実現することができるが、アーキテクチャに基づくパラメータが少ないU字型畳み込みニューラルネットワーク(CNN)を生成するために提案されている。実験の結果,提案手法を用いて得られたアーキテクチャは,元のU-Netパラメータの1%以下で優れた性能を示した。
論文参考訳（メタデータ） (2020-10-29T13:31:36Z)
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles [0.0]
ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。経験的証拠は、ニューラルアーキテクチャのスペクトル密度とそれに対応する共役円形アンサンブルの差が消えているという現象を裏付けている。
論文参考訳（メタデータ） (2020-06-14T12:34:13Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)
The efficiency of deep learning algorithms for detecting anatomical reference points on radiological images of the head profile [55.41644538483948]
U-Netニューラルネットワークは、完全な畳み込みニューラルネットワークよりも正確に解剖学的基準点の検出を可能にする。 U-Net ニューラルネットワークによる解剖学的基準点検出の結果は,歯科矯正医のグループによる基準点検出の平均値に近づいた。
論文参考訳（メタデータ） (2020-05-25T13:51:03Z)
A Genetic Algorithm based Kernel-size Selection Approach for a Multi-column Convolutional Neural Network [11.040847116812046]
本稿では,畳み込みニューラルネットワークアーキテクチャのハイパーパラメータ(カーネルサイズ)の最適組み合わせを見つけるための遺伝的アルゴリズムに基づく手法を提案する。本手法は手書き文字と数字の異なる3つの一般的なデータセットで評価される。
論文参考訳（メタデータ） (2019-12-28T05:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。