論文の概要: AIS: A nonlinear activation function for industrial safety engineering
- arxiv url: http://arxiv.org/abs/2111.13861v1
- Date: Sat, 27 Nov 2021 10:22:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 11:32:44.085015
- Title: AIS: A nonlinear activation function for industrial safety engineering
- Title（参考訳）: AIS:産業安全工学における非線形活性化機能
- Authors: Zhenhua Wang, Beike Zhang, Dong Gao
- Abstract要約: 深層学習に基づく中国語名称のエンティティ認識のタスクでは、アクティベーション関数は代替不可能な役割を果たす。
AISは産業安全工学に応用された活性化関数であり、2つの非線形関数からなる。
その結果,AISは他のアクティベーション関数と比較して,勾配消滅や負領域の問題を克服し,モデルの偏差を低減し,モデルフィッティングを高速化し,産業用モデルの抽出能力を向上させることがわかった。
- 参考スコア（独自算出の注目度）: 2.150376643286944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the task of Chinese named entity recognition based on deep learning,
activation function plays an irreplaceable role, it introduces nonlinear
characteristics into neural network, so that the fitted model can be applied to
various tasks. However, the information density of industrial safety analysis
text is relatively high, and the correlation and similarity between the
information are large, which is easy to cause the problem of high deviation and
high standard deviation of the model, no specific activation function has been
designed in previous studies, and the traditional activation function has the
problems of gradient vanishing and negative region, which also lead to the
recognition accuracy of the model can not be further improved. To solve these
problems, a novel activation function AIS is proposed in this paper. AIS is an
activation function applied in industrial safety engineering, which is composed
of two piecewise nonlinear functions. In the positive region, the structure
combining exponential function and quadratic function is used to alleviate the
problem of deviation and standard deviation, and the linear function is added
to modify it, which makes the whole activation function smoother and overcomes
the problem of gradient vanishing. In the negative region, the cubic function
structure is used to solve the negative region problem and accelerate the
convergence of the model. Based on the deep learning model of BERT-BiLSTM-CRF,
the performance of AIS is evaluated. The results show that, compared with other
activation functions, AIS overcomes the problems of gradient vanishing and
negative region, reduces the deviation of the model, speeds up the model
fitting, and improves the extraction ability of the model for industrial
entities.
- Abstract（参考訳）: 深層学習に基づく中国語名称のエンティティ認識のタスクでは、アクティベーション関数は置換不能な役割を担い、ニューラルネットワークに非線形特性を導入し、様々なタスクに適合したモデルを適用することができる。
However, the information density of industrial safety analysis text is relatively high, and the correlation and similarity between the information are large, which is easy to cause the problem of high deviation and high standard deviation of the model, no specific activation function has been designed in previous studies, and the traditional activation function has the problems of gradient vanishing and negative region, which also lead to the recognition accuracy of the model can not be further improved.
そこで本稿では,新たなアクティベーション関数aisを提案する。
AISは産業安全工学に応用された活性化関数であり、2つの非線形関数からなる。
正の領域では、指数関数と二次関数を組み合わせた構造を用いて偏差と標準偏差の問題を緩和し、線形関数を加えて修正することにより、全体の活性化関数をより滑らかにし、勾配消滅の問題を克服する。
負の領域では、立方体関数構造を用いて負の領域問題を解き、モデルの収束を加速する。
BERT-BiLSTM-CRFのディープラーニングモデルに基づいてAISの性能を評価する。
その結果,AISは他のアクティベーション関数と比較して,勾配消滅や負領域の問題を克服し,モデルの偏差を低減し,モデルフィッティングを高速化し,産業用モデルの抽出能力を向上させることがわかった。
関連論文リスト
- ARPA: A Novel Hybrid Model for Advancing Visual Word Disambiguation Using Large Language Models and Transformers [1.6541870997607049]
変換器の高度な特徴抽出機能を備えた大規模言語モデルの非並列的文脈理解を融合したアーキテクチャであるARPAを提案する。
ARPAの導入は、視覚的単語の曖昧さにおいて重要なマイルストーンであり、魅力的なソリューションを提供する。
我々は研究者や実践者たちに、このようなハイブリッドモデルが人工知能の先例のない進歩を後押しする未来を想像して、我々のモデルの能力を探求するよう依頼する。
論文 参考訳（メタデータ） (2024-08-12T10:15:13Z) - Open Visual Knowledge Extraction via Relation-Oriented Multimodality
Model Prompting [89.95541601837719]
オープンビジュアル知識抽出の新しいパラダイムを初めて探求する。
OpenVikは、リレーショナル知識を含む可能性のあるリージョンを検出するオープンリレーショナルリージョン検出器で構成されている。
検出された関心領域で大規模なマルチモーダリティモデルを促すことにより、書式のない知識を生成する視覚的知識生成装置。
論文 参考訳（メタデータ） (2023-10-28T20:09:29Z) - Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object
Detection [72.36017150922504]
教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。
多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
論文 参考訳（メタデータ） (2023-08-30T08:33:13Z) - A Brief Yet In-Depth Survey of Deep Learning-Based Image Watermarking [1.249418440326334]
本稿では,ディープラーニングに基づく画像透かしに関する総合的な調査を行う。
カバーイメージ内の透かしの埋め込みと抽出に重点を置いており、堅牢性と適応性のシームレスなブレンドを提供することを目的としている。
本稿では,フィールドを埋め込み抽出器,特徴変換としてのディープネットワーク,ハイブリッドメソッドに分割する,洗練された分類手法を提案する。
論文 参考訳（メタデータ） (2023-08-08T22:06:14Z) - Combo of Thinking and Observing for Outside-Knowledge VQA [13.838435454270014]
外部知識の視覚的質問応答は、買収とオープンエンドの現実世界の知識の使用の両方を必要とする難しいタスクである。
本稿では,モダリティ空間を自然言語空間と同じ空間に制約することに着想を得た。
本稿では,マルチモーダルエンコーダ,テキストエンコーダ,応答デコーダからなる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-10T18:32:32Z) - A Survey of Text Representation Methods and Their Genealogy [0.0]
近年、高度にスケーラブルな人工神経ネットワークベースのテキスト表現法が出現し、自然言語処理の分野は前例のない成長と高度化が見られた。
我々は、系譜にそれらを配置し、テキスト表現方法の分類を概念化し、最先端の状態を検証し、説明することによって、現在のアプローチに関する調査を行う。
論文 参考訳（メタデータ） (2022-11-26T15:22:01Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - Foundations and Recent Trends in Multimodal Machine Learning:
Principles, Challenges, and Open Questions [68.6358773622615]
本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。
本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。
最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
論文 参考訳（メタデータ） (2022-09-07T19:21:19Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - Learning Depth With Very Sparse Supervision [57.911425589947314]
本稿では, 環境との相互作用を通じて, 知覚が世界の3次元特性と結合するという考えを考察する。
我々は、環境と対話するロボットが利用できるような、特殊なグローバルローカルネットワークアーキテクチャを訓練する。
いくつかのデータセットの実験では、画像ピクセルの1つでも基底真理が利用できる場合、提案されたネットワークは、最先端のアプローチよりも22.5%の精度でモノクロの深度推定を学習できることを示している。
論文 参考訳（メタデータ） (2020-03-02T10:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。