Fugu-MT 論文翻訳(概要): Training towards significance with the decorrelated event classifier transformer neural network

論文の概要: Training towards significance with the decorrelated event classifier transformer neural network

arxiv url: http://arxiv.org/abs/2401.00428v1
Date: Sun, 31 Dec 2023 08:57:29 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 17:33:34.410438
Title: Training towards significance with the decorrelated event classifier transformer neural network
Title（参考訳）: Decorrelated Event Classifier Transformer Neural Networkによる重要度学習の試み
Authors: Jaebak Kim
Abstract要約: 自然言語処理では、主要なニューラルネットワークアーキテクチャの1つがトランスフォーマーである。この訓練されたネットワークは、強化された決定木やフィードフォワードネットワークよりも優れた性能を発揮することが判明した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Experimental particle physics uses machine learning for many of tasks, where one application is to classify signal and background events. The classification can be used to bin an analysis region to enhance the expected significance for a mass resonance search. In natural language processing, one of the leading neural network architectures is the transformer. In this work, an event classifier transformer is proposed to bin an analysis region, in which the network is trained with special techniques. The techniques developed here can enhance the significance and reduce the correlation between the network's output and the reconstructed mass. It is found that this trained network can perform better than boosted decision trees and feed-forward networks.
Abstract（参考訳）: 実験粒子物理学は、信号と背景イベントを分類する、多くのタスクに機械学習を使用する。この分類は、質量共鳴探索に期待される重要性を高めるために分析領域をビンにすることができる。自然言語処理において、主要なニューラルネットワークアーキテクチャの1つがtransformerである。本研究では,ネットワークを特別な手法で訓練する解析領域をビン化するために,イベント分類器変換器を提案する。ここで開発された技術は、ネットワークの出力と再構成された質量との相関性を高めることができる。この訓練されたネットワークは、強化された決定木やフィードフォワードネットワークよりも優れた性能を発揮する。

関連論文リスト

Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文参考訳（メタデータ） (2024-06-13T18:00:05Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。これらの機構の集約演算子に補正項を提示する。
論文参考訳（メタデータ） (2023-06-02T15:19:08Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文参考訳（メタデータ） (2021-12-18T16:59:35Z)
The distance between the weights of the neural network is meaningful [9.329400348695435]
ニューラルネットワークの適用においては、問題複雑性とデータセットスケールに基づいて適切なモデルを選択する必要がある。本稿では,異なるトレーニング段階におけるニューラルネットワーク重み間の距離を用いて,トレーニング過程において,ネットワークが蓄積した情報を直接推定できることを示す。
論文参考訳（メタデータ） (2021-01-31T06:44:49Z)
Machine Learning Link Inference of Noisy Delay-coupled Networks with Opto-Electronic Experimental Tests [1.0766846340954257]
我々は,時間遅延のあるネットワークリンクを推論する一般的な問題を解決するために,機械学習手法を考案した。まず、未知のネットワークのダイナミクスを模倣するために、貯水池コンピューティングとして知られる機械学習システムを訓練する。本研究では, 貯留層出力層のトレーニングパラメータを用いて未知のネットワーク構造の推定を導出する手法を定式化し, 検証する。
論文参考訳（メタデータ） (2020-10-29T00:24:13Z)
Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文参考訳（メタデータ） (2020-09-10T17:59:10Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
論文参考訳（メタデータ） (2020-06-15T08:58:01Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。