論文の概要: An LSTM-based Plagiarism Detection via Attention Mechanism and a
Population-based Approach for Pre-Training Parameters with imbalanced Classes
- arxiv url: http://arxiv.org/abs/2110.08771v1
- Date: Sun, 17 Oct 2021 09:20:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:05:00.847806
- Title: An LSTM-based Plagiarism Detection via Attention Mechanism and a
Population-based Approach for Pre-Training Parameters with imbalanced Classes
- Title（参考訳）: LSTMによる注意機構によるプラジャリズム検出と不均衡クラスによる事前学習パラメータに対する集団ベースアプローチ
- Authors: Seyed Vahid Moravvej, Seyed Jalaleddin Mousavirad, Mahshid Helali
Moghadam, Mehrdad Saadatmand
- Abstract要約: 本稿では,Long Short-Term Memory(LSTM)と,LSTM-AM-ABCと呼ばれるアテンション機構に基づくアーキテクチャを提案する。
提案アルゴリズムは,全てのLSTM,アテンション機構,フィードフォワードニューラルネットワークにおいて,モデル学習の初期値を同時に求めることができる。
- 参考スコア（独自算出の注目度）: 1.9949261242626626
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Plagiarism is one of the leading problems in academic and industrial
environments, which its goal is to find the similar items in a typical document
or source code. This paper proposes an architecture based on a Long Short-Term
Memory (LSTM) and attention mechanism called LSTM-AM-ABC boosted by a
population-based approach for parameter initialization. Gradient-based
optimization algorithms such as back-propagation (BP) are widely used in the
literature for learning process in LSTM, attention mechanism, and feed-forward
neural network, while they suffer from some problems such as getting stuck in
local optima. To tackle this problem, population-based metaheuristic (PBMH)
algorithms can be used. To this end, this paper employs a PBMH algorithm,
artificial bee colony (ABC), to moderate the problem. Our proposed algorithm
can find the initial values for model learning in all LSTM, attention
mechanism, and feed-forward neural network, simultaneously. In other words, ABC
algorithm finds a promising point for starting BP algorithm. For evaluation, we
compare our proposed algorithm with both conventional and population-based
methods. The results clearly show that the proposed method can provide
competitive performance.
- Abstract（参考訳）: プラジャリズムは学術的および産業的環境における主要な問題の1つであり、その目標は典型的な文書やソースコードに類似した項目を見つけることである。
本稿では,LSTM(Long Short-Term Memory)とLSTM-AM-ABCと呼ばれるアテンション機構に基づくアーキテクチャを提案する。
バックプロパゲーション(bp)のような勾配に基づく最適化アルゴリズムは、lstm、アテンション機構、フィードフォワードニューラルネットワークの学習プロセスに関する文献で広く使われているが、局所視機能に詰まるなどの問題に苦しんでいる。
この問題に対処するために、人口ベースメタヒューリスティック(PBMH)アルゴリズムを用いることができる。
そこで本研究では,pbmhアルゴリズムである人工蜂コロニー(abc)を用いてこの問題を緩和する。
提案アルゴリズムは,全てのLSTM,アテンション機構,フィードフォワードニューラルネットワークにおいて,モデル学習の初期値を同時に求めることができる。
言い換えれば、ABCアルゴリズムはBPアルゴリズムを始める上で有望な点を見つける。
評価のために,提案手法を従来の手法と人口ベース手法を比較した。
その結果,提案手法は競争性能を向上できることが示された。
関連論文リスト
- Provably Efficient UCB-type Algorithms For Learning Predictive State
Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である
本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。
PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文 参考訳（メタデータ） (2023-07-01T18:35:21Z) - Forward-Forward Algorithm for Hyperspectral Image Classification: A
Preliminary Study [0.0]
フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。
本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
論文 参考訳（メタデータ） (2023-07-01T05:39:28Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - A Novel Plagiarism Detection Approach Combining BERT-based Word
Embedding, Attention-based LSTMs and an Improved Differential Evolution
Algorithm [11.142354615369273]
本稿では,アテンション機構に基づく長短期メモリ(LSTM)とトランスフォーマー(BERT)ワード埋め込みによる双方向エンコーダ表現に基づくプラギアリズム検出手法を提案する。
BERTは下流タスクに含まれることができ、タスク固有の構造として微調整され、訓練されたBERTモデルは様々な言語特性を検出することができる。
論文 参考訳（メタデータ） (2023-05-03T18:26:47Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - OptABC: an Optimal Hyperparameter Tuning Approach for Machine Learning
Algorithms [1.6114012813668934]
OptABCは、ABCアルゴリズムがほぼ最適解へのより高速な収束を支援するために提案されている。
OptABCは、人工蜂コロニーアルゴリズム、K-Meansクラスタリング、greedyアルゴリズム、および反対ベースの学習戦略を統合している。
実験結果から,OptABCの有効性が文献の既存手法と比較された。
論文 参考訳（メタデータ） (2021-12-15T22:33:39Z) - Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。
本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。
我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
論文 参考訳（メタデータ） (2021-12-08T09:24:10Z) - Benchmarking the Accuracy and Robustness of Feedback Alignment
Algorithms [1.2183405753834562]
バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。
近年,より生物学的に妥当な学習法が提案されている。
BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
論文 参考訳（メタデータ） (2021-08-30T18:02:55Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。
この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。
古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
論文 参考訳（メタデータ） (2020-07-01T18:43:32Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。