Fugu-MT 論文翻訳(概要): Fine-tuning BERT-based models for Plant Health Bulletin Classification

論文の概要: Fine-tuning BERT-based models for Plant Health Bulletin Classification

arxiv url: http://arxiv.org/abs/2102.00838v1
Date: Fri, 29 Jan 2021 08:14:35 GMT
ステータス: 処理完了
システム内更新日: 2021-02-02 16:47:59.145853
Title: Fine-tuning BERT-based models for Plant Health Bulletin Classification
Title（参考訳）: 植物健康ブレット分類のための微調整BERTモデル
Authors: Shufan Jiang (CRESTIC, ISEP), Rafael Angarita (ISEP), Stephane Cormier (CRESTIC), Francis Rousseaux (CRESTIC)
Abstract要約: フランス植物健康ブルエタン(英語版)(BSV)は、農業生産における植物衛生リスクの発生段階に関する情報を提供する。それらは自然言語で書かれており、機械や人間ができるだけ効率的に利用することはできない。近年の転換者からの双方向表現(BERT)は、植物健康管理領域における知識表現と自然言語理解の再考を促している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the era of digitization, different actors in agriculture produce numerous data. Such data contains already latent historical knowledge in the domain. This knowledge enables us to precisely study natural hazards within global or local aspects, and then improve the risk prevention tasks and augment the yield, which helps to tackle the challenge of growing population and changing alimentary habits. In particular, French Plants Health Bulletins (BSV, for its name in French Bulletin de Sant{\'e} du V{\'e}g{\'e}tal) give information about the development stages of phytosanitary risks in agricultural production. However, they are written in natural language, thus, machines and human cannot exploit them as efficiently as it could be. Natural language processing (NLP) technologies aim to automatically process and analyze large amounts of natural language data. Since the 2010s, with the increases in computational power and parallelization, representation learning and deep learning methods became widespread in NLP. Recent advancements Bidirectional Encoder Representations from Transformers (BERT) inspire us to rethink of knowledge representation and natural language understanding in plant health management domain. The goal in this work is to propose a BERT-based approach to automatically classify the BSV to make their data easily indexable. We sampled 200 BSV to finetune the pretrained BERT language models and classify them as pest or/and disease and we show preliminary results.
Abstract（参考訳）: デジタル化の時代には、農業のさまざまなアクターが多数のデータを生成します。そのようなデータは、既にドメイン内の潜在的な歴史知識を含んでいる。この知識は、グローバルまたはローカルの側面における自然災害を正確に研究し、リスク防止タスクを改善し、歩留まりを増強し、人口増加と栄養習慣の変化の課題に取り組むのに役立ちます。特にフランスの植物健康情報報(bsv、フランス語: bulletin de sant{\e} du v{\'e}g{\e}tal)は、農業生産における植物衛生リスクの発達段階に関する情報を提供する。しかし、それらは自然言語で書かれており、機械や人間はできるだけ効率的に利用することはできない。自然言語処理(NLP)技術は、大量の自然言語データを自動処理し分析することを目的としている。 2010年代以降、計算能力と並列化の増大に伴い、表現学習と深層学習の手法がNLPで広まっていった。最近進歩したBidirectional Encoder Representations from Transformers (BERT)は、植物健康管理領域における知識表現と自然言語理解の再考を促します。この作業の目標は、BSVを自動的に分類してデータのインデックス化を容易にするBERTベースのアプローチを提案することである。事前訓練されたbert言語モデルに200個のbsvをサンプリングし, 害虫や病原体として分類し, 予備的な結果を得た。

関連論文リスト

Detecting AI Generated Text Based on NLP and Machine Learning Approaches [0.0]
自然言語処理の最近の進歩により、AIモデルは将来、人間が書いた書式と同一の書体を生成することができる。これには深い倫理的、法的、社会的反感があるかもしれない。本手法は,電子テキストと人文テキストを区別する機械学習手法を含む。
論文参考訳（メタデータ） (2024-04-15T16:37:44Z)
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文参考訳（メタデータ） (2023-12-21T14:26:57Z)
Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data Generation with Large Language Models [48.07083163501746]
臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。 7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
論文参考訳（メタデータ） (2023-11-01T04:37:28Z)
UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [4.865221751784403]
この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
論文参考訳（メタデータ） (2023-07-20T18:08:34Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文参考訳（メタデータ） (2021-11-01T20:08:05Z)
DRILL: Dynamic Representations for Imbalanced Lifelong Learning [15.606651610221416]
継続的あるいは生涯学習は、これまで機械学習において長年の課題だった。オープンドメインテキスト分類のための新しい連続学習アーキテクチャDRILLを紹介する。
論文参考訳（メタデータ） (2021-05-18T11:36:37Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)
Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
論文参考訳（メタデータ） (2020-07-31T00:08:28Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。