論文の概要、ライセンス

# (参考訳) アラビア医学テキストへの適用による大規模凸最適化問題に対する新しい非線形勾配法 [全文訳有]

Using a New Nonlinear Gradient Method for Solving Large Scale Convex Optimization Problems with an Application on Arabic Medical Text ( http://arxiv.org/abs/2106.04383v2 )

ライセンス: CC BY 4.0
Jaafar Hammoud and Ali Eisa and Natalia Dobrenko and Natalia Gusarova(参考訳) 勾配法には、信号処理、画像処理、動的システムなど、複数の分野の応用がある。 本稿では,2つの共役係数 HRM [2] と NHS [1] のハイブリッド化による探索方向の開発により,凸上二乗関数を解く非線形勾配法を提案する。 その結果, 対象関数が二次凸であれば, 標準問題の解法に適用し, 厳密解に達することで, 提案手法の有効性が証明された。 また,本論文では,提案手法の安定性と実行時間の面での効率性を証明したアラビア医療言語における名前付き実体問題への応用について述べる。

Gradient methods have applications in multiple fields, including signal processing, image processing, and dynamic systems. In this paper, we present a nonlinear gradient method for solving convex supra-quadratic functions by developing the search direction, that done by hybridizing between the two conjugate coefficients HRM [2] and NHS [1]. The numerical results proved the effectiveness of the presented method by applying it to solve standard problems and reaching the exact solution if the objective function is quadratic convex. Also presented in this article, an application to the problem of named entities in the Arabic medical language, as it proved the stability of the proposed method and its efficiency in terms of execution time.
公開日: Wed, 9 Jun 2021 12:27:53 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Using a New Nonlinear Gradient Method for Solving Large Scale Convex Optimization Problems with an Application on 大規模凸最適化問題への非線形勾配法の適用
訳抜け防止モード: 新しい非線形勾配法を用いて 大規模凸最適化問題の解法
0.67
Arabic Medical Text Jaafar Hammouda*, Ali Eisab, Natalia Dobrenkoa, Natalia Gusarovaa アラビア医学書 Jaafar Hammouda*, Ali Eisab, Natalia Dobrenkoa, Natalia Gusarovaa 0.70
aITMO University, St. Petersburg, Russia ロシアのサンクトペテルブルクにあるITMO大学 0.66
*hammoudgj@gmail.com ※hammoudgj@gmail.com 0.77
bAleppo University, Aleppo, Syria シリア、アレッポのバレッポ大学 0.57
Abstract Gradient methods have applications in multiple fields, including signal processing, image processing, and dynamic systems. 概要 勾配法には、信号処理、画像処理、動的システムなど、複数の分野の応用がある。 0.54
In this paper, we present a nonlinear gradient method for solving convex supra-quadratic functions by developing the search direction, that done by hybridizing between the two conjugate coefficients HRM [2] and NHS [1]. 本稿では,2つの共役係数 HRM [2] と NHS [1] のハイブリッド化による探索方向の開発により,凸上二乗関数を解く非線形勾配法を提案する。 0.84
The numerical results proved the effectiveness of the presented method by applying it to solve standard problems and reaching the exact solution if the objective function is quadratic convex. その結果, 対象関数が二次凸であれば, 標準問題の解法に適用し, 厳密解に達することで, 提案手法の有効性が証明された。 0.72
Also presented in this article, an application to the problem of named entities in the Arabic medical language, as it proved the stability of the proposed method and its efficiency in terms of execution time. また,本論文では,提案手法の安定性と実行時間の面での効率性を証明したアラビア医療言語における名前付き実体問題への応用について述べる。 0.80
Keywords: Convex optimization; Gradient methods; Named entity recognition; Arabic; e-Health. キーワード:凸最適化、グラディエントメソッド、名前付きエンティティ認識、アラビア語、eヘルス。 0.62
1. Introduction Several nonlinear conjugate gradient methods have been presented for solving high-dimensional unconstrained 1. はじめに 非線形共役勾配法による非拘束高次元解法 0.70
optimization problems which are given as [3]: [3] として与えられる最適化問題 0.76
To solve problem (1), we start with the following iterative relationship: 1)問題を解決するために、以下の反復関係から始める。 0.66
where α𝑘 > 0 is a step size, that is calculated by strong Wolfe-Powell’s conditions [4] αk > 0 はステップサイズであり、ウォルフ=パウエルの強い条件によって計算される[4] 0.75
𝑥(𝑘+1) = 𝑥𝑘 + 𝛼𝑘 𝑑𝑘,   𝑘 = 0,1,2, 𝑥(𝑘+1) = 𝑥𝑘 + 𝛼𝑘 𝑑𝑘,   𝑘 = 0,1,2, 0.84
min f(x) ; x∈Rn min f(x) ; xhtmlrn 0.70
𝑓(𝑥𝑘 + 𝛼𝑘𝑑𝑘) ≤ 𝑓(𝑥𝑘) + 𝛿𝛼𝑘𝑔𝑘 𝑓(𝑥𝑘 + 𝛼𝑘𝑑𝑘) ≤ 𝑓(𝑥𝑘) + 𝛿𝛼𝑘𝑔𝑘 0.85
𝑇𝑑𝑘, |𝑔(𝑥𝑘 + 𝛼𝑘𝑑𝑘)𝑇𝑑𝑘| ≤ 𝜎|𝑔𝑘 𝑇𝑑𝑘, |𝑔(𝑥𝑘 + 𝛼𝑘𝑑𝑘)𝑇𝑑𝑘| ≤ 𝜎|𝑔𝑘 0.85
𝑇𝑑𝑘| where 0 < 𝛿 < 𝜎 < 1 𝑇𝑑𝑘| where 0 < 𝛿 < 𝜎 < 1 0.82
𝑑𝑘 is the search direction that is computed as follow [3] dk は follow [3] として計算される探索方向である 0.86
𝑑𝑘+1 = { −𝑔𝑘 , if 𝑘 = 0 −𝑔𝑘+1 + 𝛽𝑘𝑑𝑘 , if 𝑘 ≥ 1 𝑑𝑘+1 = { −𝑔𝑘 , if 𝑘 = 0 −𝑔𝑘+1 + 𝛽𝑘𝑑𝑘 , if 𝑘 ≥ 1 0.86
(1) (2) (3) (1) (2) (3) 0.85
(4) Where 𝑔𝑘 = 𝑔(𝑥𝑘) = ∇𝑓(𝑥𝑘) represent the gradient vector for 𝑓(𝑥) at the point 𝑥𝑘 , 𝛽𝑘 ∈ ℝ is known as CG coefficient that characterizes different CG methods. (4) gk = g(xk) = sf(xk) が点 xk における f(x) の勾配ベクトルを表すとき、βk ∈ R は異なる CG 法を特徴づける CG 係数として知られている。 0.85
Some classical methods such below: 以下の古典法がある。 0.70
英語(論文から抽出)日本語訳スコア
2 𝛽𝑘 𝐻𝑆 = 𝑇(𝑔𝑘 − 𝑔𝑘−1) 𝑔𝑘 (𝑔𝑘 − 𝑔𝑘−1)𝑇𝑑𝑘−1 2 𝛽𝑘 𝐻𝑆 = 𝑇(𝑔𝑘 − 𝑔𝑘−1) 𝑔𝑘 (𝑔𝑘 − 𝑔𝑘−1)𝑇𝑑𝑘−1 0.84
𝛽𝑘 𝐹𝑅 = 𝑇𝑔𝑘 𝑔𝑘 ‖𝑔𝑘−1‖2 𝛽𝑘 𝐹𝑅 = 𝑇𝑔𝑘 𝑔𝑘 ‖𝑔𝑘−1‖2 0.74
𝛽𝑘 𝑃𝑅𝑃 = 𝑇(𝑔𝑘 − 𝑔𝑘−1) 𝑔𝑘 𝛽𝑘 𝑃𝑅𝑃 = 𝑇(𝑔𝑘 − 𝑔𝑘−1) 𝑔𝑘 0.88
‖𝑔𝑘−1‖2 𝛽𝑘 ‖𝑔𝑘−1‖2 𝛽𝑘 0.59
𝐻𝑅𝑀 = 𝑇 (𝑔𝑘 − 𝑔𝑘 𝐻𝑅𝑀 = 𝑇 (𝑔𝑘 − 𝑔𝑘 0.85
‖𝑔𝑘‖ ‖𝑔𝑘−1‖ ‖𝑔𝑘‖ ‖𝑔𝑘−1‖ 0.39
𝑔𝑘−1) 𝜏‖𝑔𝑘−1‖2 + (1 − 𝜏)‖𝑑𝑘−1‖2 ; 𝜏 = 0.4 𝑔𝑘−1) 𝜏‖𝑔𝑘−1‖2 + (1 − 𝜏)‖𝑑𝑘−1‖2 ; 𝜏 = 0.4 0.65
𝛽𝑘 𝑁𝐻𝑆 = max {𝑚𝑎𝑥 0, 𝑢𝑔𝑘 𝛽𝑘 𝑁𝐻𝑆 = max {max 0, ugk 0.85
‖𝑔𝑘‖2 − ‖𝑔𝑘‖ 𝑇𝑔𝑘−1 ‖𝑔𝑘−1‖ 𝑇𝑑𝑘−1 + ‖𝑔𝑘−1‖2, 𝑑𝑘 ‖𝑔𝑘‖2 − ‖𝑔𝑘‖ 𝑇𝑔𝑘−1 ‖𝑔𝑘−1‖ 𝑇𝑑𝑘−1 + ‖𝑔𝑘−1‖2, 𝑑𝑘 0.51
max 0, 𝑔𝑘 𝑇𝑦𝑘−1} 最大0, gk 𝑇𝑦𝑘−1} 0.68
; 𝑢 = 1.1 ; 𝑢 = 1.1 0.84
HS [4] FR [5] HS[4] FR[5] 0.83
PRP [6, 7] HRM [2] PRP[6, 7] HRM[2] 0.83
NHS [1] The iterative solution stops when we reach a point 𝑥𝑘 where the condition ‖𝑔𝑘‖ ≤ 𝜀 is fulfilled, where 𝜖 is a very small positive number. NHS[1] 反復解は、ε が非常に小さな正の数である条件 ・gk ≤ ε を満たす点 xk に到達すると停止する。 0.78
Among the most common methods that rely on the aforementioned strategy are Newton's methods [9], quasi-Newton methods [10, 11, 12], trust region methods [13, 14], and conjugated gradient methods [15, 16]. 上記の戦略に依存する最も一般的な手法には、ニュートン法 [9]、準ニュートン法 [10, 11, 12]、信頼領域法 [13, 14]、共役勾配法 [15, 16] がある。
訳抜け防止モード: 上記の戦略に依存する最も一般的な方法の1つはニュートンの方法[9]である。 quasi - Newton メソッド [10, 11, 12 ] trust region method [13, 14 ], and conjugated gradient method [15, 16 ]
0.86
On the other hand, the optimization techniques and methods play one of the most important roles in training neural networks (NN), because it is used to reduce the losses by changing the attributes of NN such as weights and learning rate. 一方で、ニューラルネットワーク(nn)のトレーニングにおいて、重みや学習率などのnnの属性を変更することで損失を減らすために使用されるため、最適化技術や手法が重要な役割を担っている。 0.75
The effect of choosing one optimization algorithm over another has been studied previously by many researchers, and despite the continuous development of this aspect, the widespread platforms that are used in the field of machine learning and deep learning depend on a specific group of these algorithms such as ADAM [22], SGD with momentum [23], and RMSprop [24], but these platforms come with the possibility of creating our own optimizer. 機械学習やディープラーニングの分野で広く使われているプラットフォームは、ADAM[22], SGD with momentum[23], RMSprop[24]といったアルゴリズムの特定のグループに依存しているが、これらのプラットフォームは独自の最適化ツールを作成する可能性を持っている。
訳抜け防止モード: 1つの最適化アルゴリズムを別のアルゴリズムで選択する効果は、これまで多くの研究者によって研究されてきた。 この側面の継続的な発展にもかかわらず 機械学習やディープラーニングの分野で ADAM [22 ] のようなアルゴリズムの特定のグループに依存します。 運動量[23], RMSprop[24]のSGD。 しかしこれらのプラットフォームは 独自のオプティマイザを作る可能性を秘めています
0.82
In [25], the named entity problem was studied on Arabic medical text taken from three medical volumes issued 25]では 3冊の医療書から アラビア語の医療書面から 名前付き実体問題を研究しました 0.80
by the Arab Medical Encyclopedia, the researchers used a BERT model [26] that was introduced by Google. 研究者たちはアラブ医学百科事典によって、Googleが導入したBERTモデル[26]を使用しました。 0.67
As an application of the presented method, we implement our optimizer on the same dataset and show the results 提案手法の適用例として,同じデータセット上にオプティマイザを実装し,結果を示す。 0.76
of comparison with the previous one. 前のものと比べてみましょう 0.70
During the following sections, a hybrid method for solving Problem (1) will be presented, and then its convergence will be studied, the numerical results of the mentioned method will be presented, and in the end, an application in the field of Arabic medical text processing will prove the efficiency of the method. 次の節では、問題(1)を解くためのハイブリッド手法を提示し、その収束について検討し、上記の方法の数値結果を提示し、最終的にアラビア医学テキスト処理分野の応用により、その方法の有効性が証明される。 0.65
2. The formula and its convergence 2. 公式とその収束 0.71
In the following, we show a nonlinear gradient method for solving convex functions with high dimensions by 以下では,高次元の凸関数を解く非線形勾配法を示す。 0.74
hybridizing two CG formulas [28], and the new formula is given as: 2つのcg式[28]をハイブリダイゼーションし、その新しい公式を次のように示す。 0.63
𝛽𝑘 𝐴𝑊𝐻𝑀 = (1 − 𝜃𝑘)𝛽𝑘 𝛽𝑘 𝐴𝑊𝐻𝑀 = (1 − 𝜃𝑘)𝛽𝑘 0.85
𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 0.85
𝐻𝑅𝑀 (5) From (5) we distinguish the following cases: 𝐻𝑅𝑀 (5) (5)から、以下の場合を区別する。 0.81
• Case 1: if 𝜃𝑘 = 0 then 𝛽𝑘 • 事例1: θk = 0 ならば βk 0.93
𝐴𝑊𝐻𝑀 = 𝛽𝑘 𝑁𝐻𝑆. 𝐴𝑊𝐻𝑀 = 𝛽𝑘 𝑁𝐻𝑆. 0.85
英語(論文から抽出)日本語訳スコア
• Case 2: if 0 < 𝜃𝑘 < 1 then we find the new value for 𝜃𝑘 by using the search direction that was introduced • の場合 2: 0 < θk < 1 ならば、導入された探索方向を用いて θk の新しい値を見つける。 0.89
3 by [16] as below: 3 以下の[16]によって 0.80
𝑇 𝑦𝑘 = −𝑡𝑠𝑘 𝑑𝑘+1 𝑇 𝑦𝑘 = −𝑡𝑠𝑘 𝑑𝑘+1 0.78
𝑇𝑔𝑘+1; 𝑡 > 0 𝑇𝑔𝑘+1; 𝑡 > 0 0.88
Where is 𝑦𝑘 = 𝑔𝑘+1 − 𝑔𝑘 and . yk = gk+1 − gk である。 0.75
𝑠𝑘 = 𝑥𝑘+1 − 𝑥𝑘. 𝑠𝑘 = 𝑥𝑘+1 − 𝑥𝑘. 0.92
The new search direction is given by relation: 新しい探索方向は関係によって与えられる。 0.76
𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 0.64
𝐴𝑊𝐻𝑀𝑑𝑘 From (5) and (7) we find that: 𝐴𝑊𝐻𝑀𝑑𝑘 (5) と (7) から、次のようになります。 0.71
And from (8) and (6) we find that: そして、 (8) と (6) から、 0.54
𝑇 −𝑔𝑘+1 𝑦𝑘 + (1 − 𝜃𝑘)𝛽𝑘 𝑇 −𝑔𝑘+1 𝑦𝑘 + (1 − 𝜃𝑘)𝛽𝑘 0.72
𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 + 𝜃𝑘 𝛽𝑘 𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 + 𝜃𝑘 𝛽𝑘 0.85
𝐻𝑅𝑀𝑑𝑘 𝑇 𝑦𝑘 = −𝑡𝑠𝑘 𝐻𝑅𝑀𝑑𝑘 𝑇 𝑦𝑘 = −𝑡𝑠𝑘 0.92
𝑇𝑔𝑘+1 𝑑𝑘+1 = −𝑔𝑘+1 + ((1 − 𝜃𝑘)𝛽𝑘 𝑇𝑔𝑘+1 𝑑𝑘+1 = −𝑔𝑘+1 + ((1 − 𝜃𝑘)𝛽𝑘 0.71
𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 0.85
𝐻𝑅𝑀) 𝑑𝑘 𝜃𝑘 (𝛽𝑘 𝐻𝑅𝑀) 𝑑𝑘 𝜃𝑘 (𝛽𝑘 0.85
𝐻𝑅𝑀 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 𝐻𝑅𝑀 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 0.85
𝑇 𝑦𝑘 = −𝑡𝑠𝑘 𝑇 𝑦𝑘 = −𝑡𝑠𝑘 0.98
𝑇𝑔𝑘+1 + 𝑔𝑘+1 𝑇𝑔𝑘+1 + 𝑔𝑘+1 0.59
𝑇 𝑦𝑘 − 𝛽𝑘 𝑇 𝑦𝑘 − 𝛽𝑘 0.85
𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 0.85
𝜃𝑘 𝑛𝑒𝑤 = −𝑡𝑠𝑘 𝜃𝑘 𝑛𝑒𝑤 = −𝑡𝑠𝑘 0.83
𝑇𝑔𝑘+1 + 𝑔𝑘+1 𝐻𝑅𝑀 − 𝛽𝑘 𝑇𝑔𝑘+1 + 𝑔𝑘+1 𝐻𝑅𝑀 − 𝛽𝑘 0.75
(𝛽𝑘 𝑦𝑘 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 (𝛽𝑘 𝑦𝑘 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 0.85
𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 0.85
𝑇 𝑇 𝑦𝑘 (6) 𝑇 𝑇 𝑦𝑘 (6) 0.85
(7) (8) (9) (7) (8) (9) 0.85
• Case 3: if 𝜃𝑘 = 1 then 𝛽𝑘 • ケース3: θk = 1 ならば βk 0.94
𝐴𝑊𝐻𝑀 = 𝛽𝑘 𝐻𝑅𝑀. 𝐴𝑊𝐻𝑀 = 𝛽𝑘 𝐻𝑅𝑀. 0.85
2.1 Algorithms steps Step 0: calculate the gradient vector 𝑔0 = ∇𝑓(𝑥0), the initial search direction 𝑑0 = −𝑔0 , and the step size 𝜆0 = 1 ⁄ ‖𝑔0)‖ 2.1 アルゴリズムステップ ステップ 0: 勾配ベクトル g0 = ...f(x0)、初期探索方向 d0 = −g0 、ステップサイズ λ0 = 1 ⁄ ⋅g0) を計算する。 0.84
, then we put 𝑘 = 0, if ‖𝑔𝑘)‖ ≤ 𝜖 we stop, else we go to step 1. すると、k = 0 とすると、(gk) ) ≤ ε が止まるなら、そうでなければステップ1に進む。 0.79
Input: 𝑥0 ∈ ℝ𝑛 a start point, 𝑓 a goal function, and 𝜀 > 0. 入力: x0 ∈ rn は開始点、f はゴール関数、ε > 0 である。 0.78
Step 1: we calculate the new search direction that satisfied the strong Wolfe-Powell conditions. ステップ1: 強いウルフ・パウエル条件を満たす新しい探索方向を計算する。 0.67
𝑓(𝑥𝑘 + 𝜆𝑘𝑑𝑘) − 𝑓𝑘 ≤ 𝛿𝜆𝑘𝑔𝑘 |𝑔(𝑥𝑘 + 𝜆𝑘𝑑𝑘)𝑇𝑑𝑘| ≤ −𝜎𝑔𝑘 𝑓(𝑥𝑘 + 𝜆𝑘𝑑𝑘) − 𝑓𝑘 ≤ 𝛿𝜆𝑘𝑔𝑘 |𝑔(𝑥𝑘 + 𝜆𝑘𝑑𝑘)𝑇𝑑𝑘| ≤ −𝜎𝑔𝑘 0.98
𝑇𝑑𝑘 𝑇𝑑𝑘 Where 𝛿 ∈ (0,0.5), 𝜎 ∈ (𝛿, 1). 𝑇𝑑𝑘 𝑇𝑑𝑘 Where 𝛿 ∈ (0,0.5), 𝜎 ∈ (𝛿, 1). 0.92
Step 2: set a new point 𝑥𝑘+1 = 𝑥𝑘 + 𝜆𝑘𝑑𝑘, if ‖𝑔𝑘)‖ ≤ 𝜖 we stop else go to step 3. ステップ2: 新しい点 xk+1 = xk + λkdk をセットする。
訳抜け防止モード: ステップ2 : 新しい点 xk+1 = xk + λkdk をセットする。 gk)\ ≤ ε ならば、他のものはステップ 3 に進む。
0.87
Step 3: calculate , 𝑠𝑘 = 𝑥𝑘+1 − 𝑥𝑘, . ステップ3: 計算 , sk = xk+1 − xk, 。 0.85
𝑦𝑘 = 𝑔𝑘+1 − 𝑔𝑘. 𝑦𝑘 = 𝑔𝑘+1 − 𝑔𝑘. 0.92
Step 4: find the value of each of 𝛽𝑘 ステップ4:各βkの値を見つける 0.78
𝐻𝑅𝑀 from below relations: 𝑁𝐻𝑆, 𝛽𝑘 以下の関係のHRM 𝑁𝐻𝑆, 𝛽𝑘 0.80
𝛽𝑘 𝐻𝑅𝑀 = 𝑇 (𝑔𝑘 − 𝑔𝑘 𝛽𝑘 𝐻𝑅𝑀 = 𝑇 (𝑔𝑘 − 𝑔𝑘 0.85
‖𝑔𝑘‖ ‖𝑔𝑘−1‖ ‖𝑔𝑘‖ ‖𝑔𝑘−1‖ 0.39
𝑔𝑘−1) 𝜏‖𝑔𝑘−1‖2 + (1 − 𝜏)‖𝑑𝑘−1‖2 ; 𝜏 = 0.4. 𝑔𝑘−1) 𝜏‖𝑔𝑘−1‖2 + (1 − 𝜏)‖𝑑𝑘−1‖2 ; 𝜏 = 0.4. 0.66
𝛽𝑘 𝑁𝐻𝑆 = max {𝑚𝑎𝑥 0, 𝑢𝑔𝑘 𝛽𝑘 𝑁𝐻𝑆 = max {max 0, ugk 0.85
‖𝑔𝑘‖2 − ‖𝑔𝑘‖ 𝑇𝑔𝑘−1 ‖𝑔𝑘−1‖ 𝑇𝑑𝑘−1 + ‖𝑔𝑘−1‖2, 𝑑𝑘 ‖𝑔𝑘‖2 − ‖𝑔𝑘‖ 𝑇𝑔𝑘−1 ‖𝑔𝑘−1‖ 𝑇𝑑𝑘−1 + ‖𝑔𝑘−1‖2, 𝑑𝑘 0.51
max 0, 𝑔𝑘 𝑇𝑦𝑘−1} 最大0, gk 𝑇𝑦𝑘−1} 0.68
; 𝑢 = 1.1 ; 𝑢 = 1.1 0.84
Step 5: calculate 𝜃𝑘 ステップ5:θk を計算する 0.74
𝑛𝑒𝑤 by the relation below: 下記の関係で新しくなった。 0.68
𝜃𝑘 𝑛𝑒𝑤 = −𝑡𝑠𝑘 𝜃𝑘 𝑛𝑒𝑤 = −𝑡𝑠𝑘 0.83
𝑇𝑔𝑘+1 + 𝑔𝑘+1 𝐻𝑅𝑀 − 𝛽𝑘 𝑇𝑔𝑘+1 + 𝑔𝑘+1 𝐻𝑅𝑀 − 𝛽𝑘 0.75
(𝛽𝑘 𝑦𝑘 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 (𝛽𝑘 𝑦𝑘 − 𝛽𝑘 𝑁𝐻𝑆)𝑑𝑘 0.85
𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 𝑁𝐻𝑆 𝑑𝑘 𝑇 𝑦𝑘 0.85
𝑇 𝑇 𝑦𝑘 Step 6: if 0 < 𝜃𝑘 𝑇 𝑇 𝑦𝑘 ステップ6: if 0 < θk 0.87
𝑛𝑒𝑤 < 1 then calculate the 𝛽𝑘 new < 1 で βk を計算する 0.87
𝐴𝑊𝐻𝑀 as below: AWHMは以下の通り。 0.65
英語(論文から抽出)日本語訳スコア
4 𝛽𝑘 = 𝛽𝑘 𝐴𝑊𝐻𝑀 = (1 − 𝜃𝑘)𝛽𝑘 4 𝛽𝑘 = 𝛽𝑘 𝐴𝑊𝐻𝑀 = (1 − 𝜃𝑘)𝛽𝑘 0.85
𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 0.85
𝐻𝑅𝑀 𝑛𝑒𝑤 = 0 then 𝛽𝑘 = 𝛽𝑘 𝑛𝑒𝑤 = 1 then 𝛽𝑘 = 𝛽𝑘 𝐻𝑅𝑀 𝑛𝑒𝑤 = 0 then 𝛽𝑘 = 𝛽𝑘 𝑛𝑒𝑤 = 1 then 𝛽𝑘 = 𝛽𝑘 0.85
If 𝜃𝑘 If 𝜃𝑘 Step 7: set the new search direction with the relation: if θk if θk step 7: set the new search direction with the relation: 0.92
𝑁𝐻𝑆 𝐻𝑅𝑀 Step 8: if |𝑔𝑘+1 𝑁𝐻𝑆 𝐻𝑅𝑀 ステップ8: if |gk+1 0.80
𝑇 𝑔𝑘| ≥ 0.2‖𝑔𝑘+1‖2 then 𝑑𝑘+1 = −𝑔𝑘+1 else 𝑑𝑘+1 = 𝑑𝑛𝑒𝑤, after that find すると dk+1 = −gk+1 else dk+1 = dnew となる。 0.92
𝑑𝑛𝑒𝑤 = −𝑔𝑘+1 + 𝛽𝑘𝑑𝑘 𝑑𝑛𝑒𝑤 = −𝑔𝑘+1 + 𝛽𝑘𝑑𝑘 0.78
𝜆𝑘+1 = 𝜆𝑘 × 𝜆𝑘+1 = 𝜆𝑘 × 0.84
‖𝑑𝑘‖ ‖𝑑𝑘+1‖ ‖𝑑𝑘‖ ‖𝑑𝑘+1‖ 0.39
The following assumptions are often used in previous studies of the conjugate gradient methods: [2, 18] 下記の仮定は共役勾配法の研究においてよく用いられる: [2,18] 0.75
𝑓(𝑥) is bounded from below on the level set Ω = {𝑥 ∈ ℝ𝑛 | 𝑓(𝑥) ≤ 𝑓(𝑥0)}, where 𝑥0 is the starting point. f(x) はレベル集合 ω = {x ∈ rn | f(x) ≤ f(x0)} 上で下から有界であり、ここで x0 は始点である。 0.87
Step 9: set k = k + 1 and go to step 1. ステップ9: k = k + 1 とし、ステップ1に進む。 0.75
2.2 Convergence analysis Assumption A: Assumption B: continuous, that is, there exists a constant 𝐿 > 0 such that. 2.2 収束解析の仮定 a: 仮定 b: 連続、すなわち、そのような定数 l > 0 が存在する。 0.79
In some neighbourhood 𝑁 of Ω, the objective function is continuously differentiable, and its gradient is Lipschitz Ω のある近傍 N において、目的函数は連続的に微分可能であり、その勾配はリプシッツである。 0.57
Assumption C: ‖𝑔(𝑥) − 𝑔(𝑦)‖ ≤ 𝑙‖𝑥 − 𝑦‖ ∀ 𝑥, 𝑦 ∈ 𝑁 推定 C: ‖𝑔(𝑥) − 𝑔(𝑦)‖ ≤ 𝑙‖𝑥 − 𝑦‖ ∀ 𝑥, 𝑦 ∈ 𝑁 0.83
∀𝑥 ∈ Ω||𝑔(𝑥)|| ≤ Γ; Γ ≥ 0 ∀𝑥 ∈ Ω||𝑔(𝑥)|| ≤ Γ; Γ ≥ 0 0.87
Theorem 1: possesses as the sufficient descent condition 定理1:十分な降下条件として所有する 0.69
Suppose that the sequences {𝑔𝑘} and {𝑑𝑘} are generated by the presented method. シーケンス {gk} と {dk} が、提示されたメソッドによって生成されると仮定する。 0.62
Then the sequence {𝑑𝑘} 次に、dkというシーケンス 0.72
Proof: For 𝑘 = 0 the relation (10) is fulfilled, because: 証明: k = 0 の場合、関係 (10) は満たされる。 0.69
𝑇𝑑𝑘 ≤ 𝑐‖𝑔𝑘‖2 ∀𝑘 ≥ 0, 𝑔𝑘 𝑇𝑑𝑘 ≤ 𝑐‖𝑔𝑘‖2 ∀𝑘 ≥ 0, 𝑔𝑘 0.76
𝑐 > 0 For 𝑘 ≥ 1 𝑐 > 0 k ≥ 1 の場合 0.84
𝑇𝑑0 = −‖𝑔0‖2 𝑔0 𝑇𝑑0 = −‖𝑔0‖2 𝑔0 0.49
𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 0.64
𝐴𝑊𝐻𝑀𝑑𝑘 𝑑𝑘+1 = −𝑔𝑘+1 + ((1 − 𝜃𝑘)𝛽𝑘 𝐴𝑊𝐻𝑀𝑑𝑘 𝑑𝑘+1 = −𝑔𝑘+1 + ((1 − 𝜃𝑘)𝛽𝑘 0.84
𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 0.85
𝐻𝑅𝑀) 𝑑𝑘 𝑑𝑘+1 = −(𝜃𝑘𝑔𝑘+1 + (1 − 𝜃𝑘)𝑔𝑘+1) + ((1 − 𝜃𝑘)𝛽𝑘 𝐻𝑅𝑀) 𝑑𝑘 𝑑𝑘+1 = −(𝜃𝑘𝑔𝑘+1 + (1 − 𝜃𝑘)𝑔𝑘+1) + ((1 − 𝜃𝑘)𝛽𝑘 0.89
𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 𝑁𝐻𝑆 + 𝜃𝑘𝛽𝑘 0.85
𝐻𝑅𝑀) 𝑑𝑘 𝑑𝑘+1 = 𝜃𝑘(−𝑔𝑘+1 + 𝛽𝑘 𝐻𝑅𝑀) 𝑑𝑘 𝑑𝑘+1 = 𝜃𝑘(−𝑔𝑘+1 + 𝛽𝑘 0.79
𝐻𝑅𝑀𝑑𝑘) + (1 − 𝜃𝑘)(−𝑔𝑘+1 + 𝛽𝑘 𝐻𝑅𝑀𝑑𝑘) + (1 − 𝜃𝑘)(−𝑔𝑘+1 + 𝛽𝑘 0.96
𝑁𝐻𝐶𝑑𝑘) We discuss according to the value of 𝜃𝑘 we find: 𝑁𝐻𝐶𝑑𝑘) 我々は θk の値に応じて議論する。 0.77
𝑑𝑘+1 = 𝜃𝑘𝑑𝑘+1 𝑑𝑘+1 = 𝜃𝑘𝑑𝑘+1 0.59
𝑁𝐻𝐶 𝐻𝑅𝑀 + (1 − 𝜃𝑘)𝑑𝑘+1 𝑁𝐻𝐶 𝐻𝑅𝑀 + (1 − 𝜃𝑘)𝑑𝑘+1 0.98
英語(論文から抽出)日本語訳スコア
i. 𝑁𝐻𝐶 If 𝜃𝑘 = 0 then 𝑑𝑘+1 = 𝑑𝑘+1 私は... nhc θk = 0 なら dk+1 = dk+1 0.55
5 𝑇 𝑑𝑘+1 = 𝑔𝑘+1 𝑔𝑘+1 ) ; 𝜇 = 1.1 5 𝑇 𝑑𝑘+1 = 𝑔𝑘+1 𝑔𝑘+1 ) ; 𝜇 = 1.1 0.77
1 𝑇 𝑑𝑘+1 𝑁𝐻𝐶 = 𝑔𝑘+1 1 𝑇 𝑑𝑘+1 𝑁𝐻𝐶 = 𝑔𝑘+1 0.78
𝑇 where 𝑐1 = (1 − 𝐻𝑅𝑀 If 𝜃𝑘 = 1 then 𝑑𝑘+1 = 𝑑𝑘+1 𝑇 c1 = (1 − HRM) θk = 1 ならば dk+1 = dk+1 0.83
𝜇 (−𝑔𝑘+1 + 𝛽𝑘 𝜇 (−𝑔𝑘+1 + 𝛽𝑘 0.79
𝑁𝐻𝐶𝑑𝑘) ≤ 𝑐1‖𝑔𝑘+1‖2 𝑁𝐻𝐶𝑑𝑘) ≤ 𝑐1‖𝑔𝑘+1‖2 0.49
(−𝑔𝑘+1 + 𝛽𝑘 (−𝑔𝑘+1 + 𝛽𝑘 0.74
𝐻𝑅𝑀𝑑𝑘) ≤ 𝑐2‖𝑔𝑘+1‖2 𝐻𝑅𝑀𝑑𝑘) ≤ 𝑐2‖𝑔𝑘+1‖2 0.49
𝑇 𝑑𝑘+1 = 𝑔𝑘+1 𝑔𝑘+1 1 ) ; 𝜎 = 0.001 𝑇 𝑑𝑘+1 = 𝑔𝑘+1 𝑔𝑘+1 1 ) ; 𝜎 = 0.001 0.71
𝑇 𝑑𝑘+1 𝐻𝑅𝑀 = 𝑔𝑘+1 𝑇 𝑑𝑘+1 𝐻𝑅𝑀 = 𝑔𝑘+1 0.75
𝑇 where 𝑐2 = (2 − If 0 < 𝜃𝑘 < 1 then we suppose that: 0 < 𝑚1 ≤ 𝜃𝑘 ≤ 𝑚2 < 1 𝑇 c2 = (2 −) ならば 0 < θk < 1 ならば、0 < m1 ≤ θk ≤ m2 < 1 となる。 0.86
1−5𝜎 ii. 1−5𝜎 私は... 0.37
iii. 𝑇 𝑑𝑘+1 = 𝜃𝑘𝑔𝑘+1 𝑔𝑘+1 iii 𝑇 𝑑𝑘+1 = 𝜃𝑘𝑔𝑘+1 𝑔𝑘+1 0.55
𝑇 𝑑𝑘+1 𝐻𝑅𝑀 + (1 − 𝜃𝑘)𝑔𝑘+1 𝑇 𝑑𝑘+1 𝐻𝑅𝑀 + (1 − 𝜃𝑘)𝑔𝑘+1 0.83
𝑁𝐻𝐶 𝑇 𝑑𝑘+1 𝑁𝐻𝐶 𝑇 𝑑𝑘+1 0.78
𝑇 𝑑𝑘+1 ≤ 𝑚1𝑔𝑘+1 𝑔𝑘+1 𝑇 𝑑𝑘+1 ≤ 𝑚1𝑔𝑘+1 𝑔𝑘+1 0.50
𝑇 𝑑𝑘+1 𝐻𝑅𝑀 + (1 − 𝑚2)𝑔𝑘+1 𝑇 𝑑𝑘+1 𝐻𝑅𝑀 + (1 − 𝑚2)𝑔𝑘+1 0.79
𝑁𝐻𝐶 𝑇 𝑑𝑘+1 𝑁𝐻𝐶 𝑇 𝑑𝑘+1 0.78
𝑇 𝑑𝑘+1 ≤ 𝑚1𝑐2‖𝑔𝑘+1‖2 + (1 − 𝑚2)𝑐1‖𝑔𝑘+1‖2 𝑔𝑘+1 𝑇 𝑑𝑘+1 ≤ 𝑚1𝑐2‖𝑔𝑘+1‖2 + (1 − 𝑚2)𝑐1‖𝑔𝑘+1‖2 𝑔𝑘+1 0.45
Theorem 2: If the assumptions are fulfilled, and since the search direction fulfills the condition of sufficient descent condition, then the presented method fulfills the property of global convergence. 定理2: 仮定が満たされ、探索方向が十分な降下条件の条件を満たすならば、提示された方法は大域収束の性質を満たす。 0.69
That is, if the following relationship is fulfilled: すなわち、次の関係が満たされる場合である。 0.80
𝑇 𝑑𝑘+1 ≤ 𝑐 ‖𝑔𝑘+1‖2, 𝑔𝑘+1 𝑇 𝑑𝑘+1 ≤ 𝑐 ‖𝑔𝑘+1‖2, 𝑔𝑘+1 0.55
𝑐 = 𝑚1𝑐2 + (1 − 𝑚2)𝑐1 𝑐 = 𝑚1𝑐2 + (1 − 𝑚2)𝑐1 0.81
Then 1 ‖𝑑𝑘+1‖2 = ∞ そして 1 ‖𝑑𝑘+1‖2 = ∞ 0.70
∑ 𝑘≥1 lim 𝑘→∞ ∑ 𝑘≥1 lim k→∞ 0.71
(inf‖𝑔𝑘+1‖) = 0 (inf・gk+1) = 0 0.65
Proof: If the gradient vector 𝑔𝑘 ≠ 0 then there is a constant 𝑟 > 0 where ‖𝑔𝑘‖ > 𝑟 ∀ 𝑘 ≥ 0, then from (5) and by using Lipschitz condition and Assumption C, we find: 証明: 勾配ベクトル gk を 0 とすると、定数 r > 0 が存在して ∂gk > r > k ≥ 0 となり、そして (5) からリプシッツ条件と仮定 C を用いることで得られる。 0.79
|𝛽𝑘 𝐴𝑊𝐻𝑀| ≤ +|𝛽𝑘 |𝛽𝑘 𝐴𝑊𝐻𝑀| ≤ +|𝛽𝑘 0.73
𝑁𝐻𝐶| + |𝛽𝑘 𝑁𝐻𝐶| + |𝛽𝑘 0.78
𝐻𝑅𝑀| According to [1]: 𝐻𝑅𝑀| [1] によります。 0.68
And according to [2]: そして [2] に従えば 0.69
0 < 𝛽𝑘 𝑁𝐻𝐶 ≤ 0 < 𝛽𝑘 𝑁𝐻𝐶 ≤ 0.85
𝑇 𝑑𝑘+1 𝑔𝑘+1 𝑇𝑑𝑘 𝑔𝑘 𝑇 𝑑𝑘+1 𝑔𝑘+1 𝑇𝑑𝑘 𝑔𝑘 0.71
0 < |𝛽𝑘 𝐻𝑅𝑀| ≤ 0 < |𝛽𝑘 𝐻𝑅𝑀| ≤ 0.91
1 2𝑏 , 𝑏 = 1 2𝑏 , 𝑏 = 0.87
5𝛾̅ 2(𝛾 + 𝛾̅) 5𝛾̅ 2(𝛾 + 𝛾̅) 0.96
2𝛾3 > 1 0 < |𝛽𝑘 2𝛾3 > 1 0 < |𝛽𝑘 0.79
𝐴𝑊𝐻𝑀| ≤ | 𝑇 𝑑𝑘+1 𝑔𝑘+1 𝑇𝑑𝑘 𝑔𝑘 𝐴𝑊𝐻𝑀| ≤ | 𝑇 𝑑𝑘+1 𝑔𝑘+1 𝑇𝑑𝑘 𝑔𝑘 0.82
| + 1 2𝑏 ≤ | + 1 2𝑏 ≤ 0.86
𝑐1‖𝑔𝑘+1‖2 𝑐3‖𝑔𝑘‖2 + 𝑐1‖𝑔𝑘+1‖2 𝑐3‖𝑔𝑘‖2 + 0.29
1 2𝑏 ≤ 𝑐1 Γ2 𝑐3𝑟2 + 1 2𝑏 ≤ 𝑐1 Γ2 𝑐3𝑟2 + 0.77
1 2𝑏 = 𝜔 From the iterative relation: 1 2𝑏 = 𝜔 反復的な関係から 0.76
0 < |𝛽𝑘 𝐴𝑊𝐻𝑀| ≤ 𝜔 0 < |𝛽𝑘 𝐴𝑊𝐻𝑀| ≤ 𝜔 0.94
英語(論文から抽出)日本語訳スコア
6 𝑥𝑘+1 = 𝑥𝑘 + 𝜆𝑘𝑑𝑘 ⟹ 𝑥𝑘+1 − 𝑥𝑘 = 𝜆𝑘𝑑𝑘 ⟹ 𝑠𝑘 = 𝜆𝑘𝑑𝑘 ⟹ 𝑑𝑘 = 6 𝑥𝑘+1 = 𝑥𝑘 + 𝜆𝑘𝑑𝑘 ⟹ 𝑥𝑘+1 − 𝑥𝑘 = 𝜆𝑘𝑑𝑘 ⟹ 𝑠𝑘 = 𝜆𝑘𝑑𝑘 ⟹ 𝑑𝑘 = 0.91
𝑠𝑘 𝜆𝑘 According to our search direction 𝑠𝑘 𝜆𝑘 捜索の指示に従って 0.74
𝜆𝑘 ≥ 𝜆∗ > 0 ⟹ 𝜆𝑘 ≥ 𝜆∗ > 0 ⟹ 0.97
1 𝜆𝑘 ≤ 1 𝜆∗ 1 𝜆𝑘 ≤ 1 𝜆∗ 0.86
𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 𝑑𝑘+1 = −𝑔𝑘+1 + 𝛽𝑘 0.64
𝐴𝑊𝐻𝑀𝑑𝑘 ‖𝑑𝑘+1‖ = ‖−𝑔𝑘+1 + 𝛽𝑘 𝐴𝑊𝐻𝑀𝑑𝑘 ‖𝑑𝑘+1‖ = ‖−𝑔𝑘+1 + 𝛽𝑘 0.68
𝐴𝑊𝐻𝑀𝑑𝑘‖ ≤ ‖𝑔𝑘+1‖ + |𝛽𝑘 𝐴𝑊𝐻𝑀𝑑𝑘‖ ≤ ‖𝑔𝑘+1‖ + |𝛽𝑘 0.59
𝐴𝑊𝐻𝑀|‖𝑑𝑘‖ ‖𝑑𝑘+1‖ ≤ Γ + 𝜔 𝐴𝑊𝐻𝑀|‖𝑑𝑘‖ ‖𝑑𝑘+1‖ ≤ Γ + 𝜔 0.55
‖𝑠𝑘‖ 𝜆𝑘 ‖𝑑𝑘+1‖ ≤ Γ + 𝜔 ‖𝑠𝑘‖ 𝜆𝑘 ‖𝑑𝑘+1‖ ≤ Γ + 𝜔 0.71
ℎ 𝜆∗ = 𝑒 ⟹ ∑ ℎ 𝜆∗ = 𝑒 ⟹ ∑ 0.97
𝑘≥1 1 ‖𝑑𝑘+1‖2 = ∞ 𝑘≥1 1 ‖𝑑𝑘+1‖2 = ∞ 0.65
Thus, we find that the global convergence property is fulfilled. したがって、大域収束特性が満たされていることが分かる。 0.53
3. Result and Discussion The proposed method was used to solve non-linear convex functions with high dimensions. 3. 結果と議論 提案手法は,高次元の非線形凸関数の解法として用いた。 0.77
The comparison was made with the two basic methods that were used in the hybridization process. ハイブリッド化プロセスで用いられた2つの基本手法との比較を行った。 0.79
The comparison was made in terms of execution time and the number of iterations. 比較は実行時間とイテレーション数の観点から行われました。 0.68
The efficiency of the method was demonstrated by solving 109 standard problems out of 110 taken from the following references [19, 20]. 本手法の効率は,[19,20]から110項目中109項目の標準問題を解くことで実証された。
訳抜け防止モード: この手法の効率は 次の参照 [19, 20] から引用した110のうち、109の標準問題を解く。
0.71
Figure 1 and figure 2 are prepared according to the Dolan and Moré [21] standard. 図1と図2は、dolanとmoré [21]標準に従って作成されます。 0.73
The values of the parameters adopted for calculating the step length according to the strong Wolff-Powell 強ヴォルフ・パウエルのステップ長計算に採用されたパラメータの値 0.64
conditions: 𝜹 = 𝟏𝟎−𝟒, 𝝈 = 𝟎. conditions: 𝜹 = 𝟏𝟎−𝟒, 𝝈 = 𝟎. 1.00
𝟗 Fig. 1. 𝟗 フィギュア。 1. 0.71
Comparison of the proposed method with the two basic methods M1 (HRM) and M2 (NHS) in terms of number of iterations 提案手法と2つの基本手法m1(hrm)とm2(nhs)の反復数による比較
訳抜け防止モード: 提案手法と2つの基本手法M1(HRM)の比較 反復回数の面ではM2 (NHS) である。
0.81
英語(論文から抽出)日本語訳スコア
7 Fig. 2. 7 フィギュア。 2. 0.71
Comparison of the proposed method with the two basic methods M1 (HRM) and M2 (NHS) in terms of execution time. 提案手法と2つの基本手法M1(HRM)とM2(NHS)を比較した。 0.64
As an application to this new optimizer, we fine-tuned the BERT model on the Arabic medical dataset [25], in この新しいオプティマイザの応用として、アラビア医学データセット[25]にBERTモデルを微調整した。 0.59
3.1 Application on Arabic medical text the following, the description of the BERT model and the dataset used. 3.1 アラビア語の医学的テキストの応用 以下、bertモデルと使用するデータセットの説明。 0.68
3.1.1 Dataset The dataset was obtained from three medical volumes (Respiratory System Diseases, Cardiovascular Diseases, and Skin Diseases) issued by the Arabic Encyclopaedia in Syria. 3.1.1データセットは、シリアのアラブ百科事典から発行された3つの医療データ(呼吸系疾患、心血管疾患、皮膚疾患)から得られた。 0.69
The volume of respiratory system diseases volume contains 28 articles with 6691 sentences, where the volume of cardiovascular diseases contains 33 articles with 9464 sentences, and the skin diseases volume contains 22 articles with 5921 sentences [25]. 呼吸器系疾患容積は、6691文の28条、心血管系疾患容積は、9464文の33条、皮膚疾患容積は、5921文の22条を含む。
訳抜け防止モード: 呼吸器系疾患の量には, 6691文の28項目が含まれている。 心臓血管疾患の量には 9464文の33項目が含まれています 皮膚疾患の量は22条5921文[25]です。
0.72
The annotation of entities (disease name, organ name, disease symptoms, and drug name) was done by some Syrian medical students in Syrian universities. エンティティのアノテーション(疾患名、臓器名、疾患症状、薬物名)はシリアの大学のシリア人医学生によって行われた。 0.67
Figure 3 shows a screenshot from the dataset. 図3はデータセットからのスクリーンショットです。 0.80
Fig. 3. Screenshot from the dataset フィギュア。 3. データセットのスクリーンショット 0.71
3.1.2 BERT Model encoder reads the text input, the decoder produces a prediction for the task. 3.1.2 BERTモデルエンコーダはテキスト入力を読み、デコーダはタスクの予測を生成する。 0.81
But since the BERT's goal is to generate a language model, only the encoder is necessary. しかし、bertの目標は言語モデルを生成することであるため、エンコーダのみが必要である。 0.68
BERT uses the transformer [27] that includes two separate mechanisms (encoder and decoder), where is an BERTは変換器[27]を使用し、2つの別々のメカニズム(エンコーダとデコーダ)を含む。 0.84
英語(論文から抽出)日本語訳スコア
8 BERT uses two training strategies, first, one is called "Masked LM" where the model replaces 15% of the 8 BERTは2つのトレーニング戦略を使用し、1つは"Masked LM"と呼ばれ、モデルの15%を置き換える。 0.83
The Transformer encoder reads the entire sequence of words at once, not (left-to-right or right-to-left), so it is Transformerエンコーダは、(左から右へまたは右から左へ)単語のシーケンス全体を一度に読み取るので、それが成り立つ。
訳抜け防止モード: Transformer エンコーダは、単語のシーケンス全体を一度に読み取る , not ( left -to - right -to - left ) ですから
0.78
considered bidirectional. 双方向と見なされる。 0.50
words in each sequence with a [MASK] token and attempts to predict the original value of the masked words. 各シーケンス内の単語は[mask]トークンを持ち、マスクされた単語の本来の値を予測する。 0.78
The second strategy is called "Next Sentence Prediction (NSP)" where the model receives pairs of sentences and attempts to predict if the second sentence in the pair is subsequent in the original document. 第2の戦略は"Next Sentence Prediction (NSP)"と呼ばれ、モデルがペアの文を受け取り、ペアの第2の文が元の文書で続くかどうかを予測しようとする。 0.81
BERT Fine-tuning In the NER task, the model receives a text sequence and is required to mark the various types of entities, as an example in our application (disease name, organ name, disease symptoms, drug name). BERTファインチューニング NERタスクでは、モデルがテキストシーケンスを受け取り、応用例として、さまざまな種類のエンティティをマークする必要がある(disease name, organ name, disease symptoms, drug name)。 0.67
Using BERT, the model can be trained by feeding the output vector of each token into a classification layer that predicts the NER label. BERTを使用することで、各トークンの出力ベクトルをNERラベルを予測する分類層に入力することで、モデルをトレーニングすることができる。 0.77
Usually, in the fine-tuning training, most hyper-parameters stay the same as in BERT training. 通常、微調整訓練では、ほとんどのハイパーパラメータはBERTトレーニングと同じである。 0.76
But we have modified the optimizer used in the classification layer that we have added from Adam to our own optimizer. しかし私たちは、Adamから独自のオプティマイザに追加された分類層で使用されるオプティマイザを変更しました。 0.50
Figure 4 shows the BERT architecture with a fully connected classification layer with the BIO system for the NER task. 図4は、NERタスクのためのBIOシステムと完全に接続された分類層を持つBERTアーキテクチャを示しています。 0.73
Fig. 4. BERT architecture with a fully connected classification layer with the BIO system for our NER task. フィギュア。 4. NERタスクのためのBIOシステムと完全に接続された分類層を備えたBERTアーキテクチャ。 0.67
3.2 Result of the application We measure the accuracy of the model by using f1 score: 3.2 出願の結果 f1スコアを用いてモデルの精度を測定する。 0.79
Where the precision computed by the following equation: 下記の式で計算された精度は 0.79
𝐹1 = 2 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 𝐹1 = 2 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 0.92
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 0.85
𝑇𝑃 𝑇𝑃 + 𝐹𝑃 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 0.85
And the recall computed by the following equation: そして、次の式で計算したリコール。 0.68
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 0.85
𝑇𝑃 + 𝐹𝑁 Where TP denotes to true positive, FP to false positive, and FN to false negative. 𝑇𝑃 + 𝐹𝑁 TPは真正、FPは偽正、FNは偽負を表す。 0.69
The results were compared with previous results in the following table: 結果は以下の表で以前の結果と比較した。 0.88
Model Name Disease Name Organ Name モデル名 病名 機関名 0.57
Disease Symptoms Drug Name BERT with Adam optimizer 病気の症状 薬名 Adam OptimizationrによるBERT 0.64
BERT with new optimizer 新しいオプティマイザを備えたBERT 0.35
87.7102 87.9014 87.7102 87.9014 0.59
86.3021 85.9351 86.3021 85.9351 0.59
69.8519 68.4125 69.8519 68.4125 0.59
77.4986 78.0147 77.4986 78.0147 0.59
Table 1. F1 score for every entity 表1。 各エンティティのF1スコア 0.77
英語(論文から抽出)日本語訳スコア
9 The results in terms of accuracy show the stability of the proposed method, while the positive results came in 9 精度の観点からは, 提案手法の安定性を示し, 正の結果が得られた。 0.79
terms of execution time. 実行時間に関する用語。 0.78
improvement of 18.9 percent over the previous model. 前モデルより18.9%改善しました 0.83
The same machine was used in the two applications, with 32 batch size, and 4 epochs. 同じマシンが2つのアプリケーションで使われ、32のバッチサイズと4つのエポックがあった。 0.72
The results show an An example of a column heading 結果は 列の向きの例 0.49
Epochs Train Time BERT with Adam optimizer 時代 列車時間 Adam OptimizationrによるBERT 0.68
BERT with new optimizer 新しいオプティマイザを備えたBERT 0.35
4 4 9.25 hours 4 4 9.25時間 0.79
7.5 hours Table 2. Performance Summary 7.5時間 表2。 性能概要 0.70
Conclusion Introducing a new nonlinear gradient method for solving high-dimensional convex functions. 結論 高次元凸関数を解くための新しい非線形勾配法の導入 0.75
Among the most important results that were reached: • • Study the convergence analysis of the method. • • 手法の収束解析について検討した。 0.32
• Demonstrate the effectiveness of the presented method through 110 standard problems of various •多種110の標準問題による提案手法の有効性の実証 0.76
dimensions and compare it with previous methods. 寸法を従来の方法と比較する。 0.66
• Demonstrate the efficiency of the method through direct application to the problem NER in the Arabic •アラビア語における問題NERへの直接適用による方法の効率の実証 0.82
medical language, as the results showed the stability of the method and the speed efficiency. 結果が示すように 医療用言語は 手法の安定性と 速度効率が向上しました 0.81
Reference [1] HAN, X., ZHANG, J., CHEN,J., (2017) “A New Hybrid Conjugate Gradient Algorithm for Unconstrained Optimization” Bulletin of the Iranian Mathematical Society Vol. 参照 [1] HAN, X., ZHANG, J., CHEN, J. (2017) "A New Hybrid Conjugate Gradient Algorithm for Unconstrained Optimization" Bulletin of the Iran Mathematical Society Vol. 0.77
43, No. 6, pp. 43, No。 6, pp。 0.80
2067-2084. 2067-2084. 0.71
[2] HAMODA, M ., MAMAT, M., RIVAIE, M., SALLEH, Z., (2016) “A Conjugate Gradient Method with Strong Wolfe-Powell Line Search for Unconstrained Optimization” Applied Mathematical Sciences, Vol. [2] HaMODA, M., MAMAT, M., RIVAIE, M., SALLEH, Z., (2016) "A Conjugate Gradient Method with Strong Wolfe-Powell Line Search for Unconstrained Optimization" Applied Mathematical Sciences, Vol. 0.86
10, No. 15, pp.721 – 734. 10号。 15, pp.721 – 734。 0.64
[3] SALIH, Y., HAMODA, M., RIVAIE, M., (2018) “New Hybrid Conjugate Gradient Method with Global Convergence Properties for Unconstrained Optimization” Malaysian Journal of Computing and Applied Mathematics, Vol .1,No1- pp.29-38. [3] SALIH, Y., HAMODA, M., RIVAIE, M. (2018) “New Hybrid Conjugate Gradient Method with Global Convergence Properties for Unconstrained Optimization” Malaysian Journal of Computing and Applied Mathematics, Vol .1,No1- pp.29-38。 0.94
[4] P. Wolfe, (1971) “Convergence conditions for ascent methods. 4] p. wolfe, (1971) “上昇方法の収束条件” である。 0.82
II: some corrections”, SIAM Review, vol. II: いくつかの修正”, SIAM Review, vol。 0.88
13, no. 2, pp. 185-188. 13歳。 2、p。 185-188. 0.59
[5] HESTENES M.R. [5]HESTENES M.R. 0.81
; STIEFEL E.,(1952) “Method of Conjugate Gradient for Solving Linear Equations” Journal of Research of the National Bureau of Standards, Vol. STIEFEL E., (1952) “Method of Conjugate Gradient for Solving Linear Equations” Journal of Research of the National Bureau of Standards, Vol. 0.78
49, No. 6, pp. 49, No。 6, pp。 0.80
409–436. [6] FLETCHER R. ; REEVES C., (1964) “Function Minimization by Conjugate Gradients” the Computer Journal, Vol. 409–436. [6]FLETCHER R.; REEVES C., (1964) "Function Minimization by Conjugate Gradients" Computer Journal, Vol. 0.75
7, No. 2, pp.149-154. 7位はノー。 pp.149-154。 0.61
[7] POLAK E.; RIBIÈRE G., (1969) “Note Sur la Convergence de Méthodes de Directions Conjuguées” Revue Françoise d’Informatique et de Recherché Opérationnelle, Vol.16, No.3, pp. [7] POLAK E.; RIBI RE G., (1969) "Note Sur la Convergence de Méthodes de Directions Conjuguées" Revue Françoise d'Informatique et de Recherché Opérationnelle, Vol.16, No.3, pp. 0.92
35–43. [8] B. T. Polyak, (1969) “The conjugate gradient method in extreme problems” USSR Computational Mathematics and Mathematical Physics, 9 , 94-112. 35–43. [8] b. t. polyak, (1969) “the conjugate gradient method in extreme problems” ussr computational mathematics and mathematical physics, 9 , 94-112。 0.79
[9] GHAZALI, K., SULAIMAN, J., DASRIL, Y., GABDA, D., (2019) “Newton-MSOR Method for Solving Large-Scale Unconstrained Optimization Problems with an Arrowhead Hessian Matrices” Transactions on Science and Technology, Vol. 9] GHAZALI, K., SULAIMAN, J., DASRIL, Y., GABDA, D. (2019) “Newton-MSOR Method for Solving Large-Scale Unconstrained Optimization Problems with an Arrowhead Hessian Matrices” Transactions on Science and Technology, Vol. 0.90
6, No. 2-2,pp. 6、ノー。 2-2,pp。 0.74
228 – 234. 228 – 234. 0.85
[10] BERAHAS, A.S., TAK_A_C, M., (2020) “A robust multi-batch l-bfgs method for machine learning.” Optimization Methods and Software, Vol. [10]BERAHAS, A.S., TAK_A_C, M., (2020) “A robust multi-batch l-bfgs method for machine learning” 最適化法とソフトウェア, Vol. 0.86
35, No.1, pp. 35, No.1, pp。 0.87
191-219. [11] BERAHAS, A.S., JAHANI, M., TAK_AC, M., (2019) “Quasi-Newton Methods for deep learning: Forget the past, just sample.” arXiv preprint arXiv: 1901.09997 [12] Khanaiah, Z. and Hmod, G., (2017) “Novel hybrid algorithm in solving unconstrained optimizations problems.” Int. 191-219. [11]BERAHAS, A.S., JAHANI, M., TAK_AC, M., (2019) “Quasi-Newton Methods for Deep Learning: Forget the past, just sample.” arXiv preprint arXiv: 1901.09997 [12] Khanaiah, Z. and Hmod, G., (2017) “Novel hybrid algorithm in solve unconstrained optimizations problem.” Int。 0.84
J. Novel Res. Phys. J。 小説。 Phys 0.56
Chem. Math., 4(3), pp.36-42 [13] ERWAY, J.B., GRI_N, J., MARCIA, R.F., OMHENI, R., (2019) “Trust-Region Algorithms for Training Responses: Machine Learning Methods Using Indefinite Hessian Approximations.” Optimization Methods and Software pp. Chem Math., 4(3), pp.36-42 [13] ERWAY, J.B., GRI_N, J., MARCIA, R.F., OMHENI, R., (2019) "Trust-Region Algorithms for Training Responses: Using Machine Learning Methods Using Indefinite Hessian Approximations." ; Optimization Methods and Software pp。 0.73
1-28. [14] KIMIAEI M., GHADERI S., (2017) “A New Restarting Adaptive Trust–Region Method for Unconstrained Optimization.” Journal of the Operations Research Society of China, 5(4),487–507. 1-28. [14]KMIAEI M., GHADERI S., (2017) “A New Restarting Adaptive Trust–Region Method for Unconstrained Optimization”. the Operations Research Society of China, 5(4),487–507. 0.78
[15] DAWAHDEH, M., et al , (2020) “A New Spectral Conjugate Gradient Method with Strong Wolfe-Powell Line Search.” International Journal of Emerging Trends in Engineering Research,Vol.8,No.2, pp.391 – 397. [15] DAWAHDEH, M., et al , (2020) “A New Spectral Conjugate Gradient Method with Strong Wolfe-Powell Line Search.” International Journal of Emerging Trends in Engineering Research, Vol.8, No.2, pp.391 – 397. 0.97
[16] ABDULLAHI,I., AHMAD, R., (2017) “Global Convergence Analysis of A New Hybrid Conjugate Gradient Method for Unconstrained Optimization Problems.” Malaysian Journal of Fundamental and Applied Sciences Vol. 16] ABDULLAHI,I., AHMAD, R. (2017) "Global Convergence Analysis of A New Hybrid Conjugate Gradient Method for Unconstrained Optimization Problems.
訳抜け防止モード: [16 ] ABDULLAHI, I., AHMAD, R. (2017 ) 「非制約最適化問題に対する新しいハイブリッド共役勾配法の大域収束解析」 マレーシアの基礎・応用科学誌(英語版)に掲載。
0.80
13, No. 2,pp. 13号。 2,pp。 0.61
40-48. [17] Dai, Y., H., Liao L Z., (2001) “New conjugacy conditions and related nonlinear conjugate gradient methods.” Appl Math Optim, , Vol.43, pp.87–101. 40-48. [17] Dai, Y., H., Liao L Z., (2001) "新しい共役条件と関連する非線形共役勾配法" Appl Math Optim, , Vol.43, pp.87–101. 0.80
[18] RIVAIE, M., MAMAT, M., ABASHAR, A., (2015) “A new class of nonlinear conjugate gradient coefficients with exact and inexact line searches.” Appl. [18] RIVAIE, M., MAMAT, M., ABASHAR, A. (2015) “A new class of non conjugate gradient coefficients with exact and unexact line search. 0.78
Math. Comp.268, pp. 数学。 pp.268。 0.70
1152-1163. 1152-1163. 0.71
[19] N. Andrei, (2008) “An unconstrained optimization test functions collection.” Advanced Modelling and Optimization, 10, 147-161. [19] n. andrei, (2008) “a unconstrained optimization test functions collection.” 高度なモデリングと最適化、147-161。 0.87
英語(論文から抽出)日本語訳スコア
10 [20] S. Mishra, (2007) “Some new test functions for global optimization and performance of repulsive particle swarm method.” Munich Personal RePEc Archive, Apr 13. 10 S. Mishra, (2007) "Some new test function for global optimization and performance of repulsive Particle Swarm method" Munich Personal RePEc Archive, Apr 13。
訳抜け防止モード: 10 [20 ] S. Mishra, (2007 ) “Repulsive Particle Swarm Method のグローバル最適化と性能のための新しいテスト関数”. ミュンヘン・パーソナライズ・レペック・アーカイブ(Munch Personal RePEc Archive) Apr 13。
0.86
[21] Dolan, E.D., More, J.J., (2002) “Benchmarking optimization software with performance profiles.” Mathematical Programming, 91 (2), 201-213. [21] Dolan, E.D., More, J.J., (2002) “Benchmarking optimization software with performance profiles”, Mathematical Programming, 91 (2), 201-213。 0.95
[22] Kingma, D.P. [22]Kingma, D.P. 0.89
and Ba, J., (2014) “Adam: A method for stochastic optimization.” arXiv preprint arXiv:1412.6980. Ba, J. (2014) “Adam: A method for stochastic optimization.” arXiv preprint arXiv:1412.6980。 0.95
[23] Sutskever, I., Martens, J., Dahl, G. and Hinton, G., (2013) “On the importance of initialization and momentum in deep learning.” In International conference on machine learning (pp. [23]Sutskever, I., Martens, J., Dahl, G. and Hinton, G., (2013) “On the importance of initialization and momentum in Deep learning” in International conference on machine learning (pp。 0.83
1139-1147). 1139-1147). 0.78
PMLR. [24] Tieleman, T. and Hinton, G., (2012) “Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude.” COURSERA: Neural networks for machine learning, 4(2), pp.26-31. PMLR。 [24] Tieleman, T. and Hinton, G. (2012) “Lecture 6.5-rmsprop: Divide the gradient by a running average of its latest magnitude.” COURSERA: Neural Network for Machine Learning, 4(2), pp.26-31。 0.87
[25] Hammoud, J., et al , (2020) “Named entity recognition and information extraction for Arabic medical text”, Multi Conference on Computer Science and Information Systems, MCCSIS 2020 - Proceedings of the International Conference on e-Health 2020, 121-127. [25] Hammoud, J., et al , (2020) “Named entity recognition and information extract for Arabic medical text”, Multi Conference on Computer Science and Information Systems, MCCSIS 2020 - Proceedings of the International Conference on e-Health 2020, 121-127。 0.87
[26] Devlin, J., Chang, M.W., Lee, K. and Toutanova, K., (2018) “Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805. [26] Devlin, J., Chang, M.W., Lee, K. and Toutanova, K. (2018) “Bert: 言語理解のための深層双方向変換器の事前トレーニング” arXiv preprint arXiv:1810.04805. 0.86
[27] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. [27]Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. 0.91
(2017). “Attention is all you need.” arXiv preprint arXiv:1706.03762. (2017). arXiv preprint arXiv:1706.03762。 0.68
[28] Al-Najjar, H., Dabash, M., Al-Issa, A., (2020) "A Nonlinear Gradient Method for Solving Convex Functions with Large Scale", AlBaath University Journal for Research and Scientific Studies, Volume (42). [28]Al-Najjar, H., Dabash, M., Al-Issa, A. (2020) "A linear Gradient Method for Solving Convex Functions with Large Scale", AlBaath University Journal for Research and Scientific Studies, Volume (42)。 0.86
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。