論文の概要: TopoBERT: Plug and Play Toponym Recognition Module Harnessing Fine-tuned
BERT
- arxiv url: http://arxiv.org/abs/2301.13631v1
- Date: Tue, 31 Jan 2023 13:44:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 16:29:15.246450
- Title: TopoBERT: Plug and Play Toponym Recognition Module Harnessing Fine-tuned
BERT
- Title(参考訳): TopoBERT:微調整したBERTを併用した匿名認識モジュール
- Authors: Bing Zhou, Lei Zou, Yingjie Hu, Yi Qiang
- Abstract要約: TopoBERTは,一次元畳み込みニューラルネットワーク(CNN1D)と変換器による双方向表現(BERT)に基づくトポニム認識モジュールである。
TopoBERTは、他の5つのベースラインモデルと比較して最先端のパフォーマンスを達成し、追加のトレーニングなしで様々なトポニム認識タスクに適用することができる。
- 参考スコア(独自算出の注目度): 11.446721140340575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extracting precise geographical information from textual contents is crucial
in a plethora of applications. For example, during hazardous events, a robust
and unbiased toponym extraction framework can provide an avenue to tie the
location concerned to the topic discussed by news media posts and pinpoint
humanitarian help requests or damage reports from social media. Early studies
have leveraged rule-based, gazetteer-based, deep learning, and hybrid
approaches to address this problem. However, the performance of existing tools
is deficient in supporting operations like emergency rescue, which relies on
fine-grained, accurate geographic information. The emerging pretrained language
models can better capture the underlying characteristics of text information,
including place names, offering a promising pathway to optimize toponym
recognition to underpin practical applications. In this paper, TopoBERT, a
toponym recognition module based on a one dimensional Convolutional Neural
Network (CNN1D) and Bidirectional Encoder Representation from Transformers
(BERT), is proposed and fine-tuned. Three datasets (CoNLL2003-Train,
Wikipedia3000, WNUT2017) are leveraged to tune the hyperparameters, discover
the best training strategy, and train the model. Another two datasets
(CoNLL2003-Test and Harvey2017) are used to evaluate the performance. Three
distinguished classifiers, linear, multi-layer perceptron, and CNN1D, are
benchmarked to determine the optimal model architecture. TopoBERT achieves
state-of-the-art performance (f1-score=0.865) compared to the other five
baseline models and can be applied to diverse toponym recognition tasks without
additional training.
- Abstract(参考訳): テキストコンテンツから正確な地理情報を抽出することは、多くのアプリケーションにおいて重要である。
例えば、危険な出来事の間、堅牢で偏見のないトポニム抽出フレームワークは、ニュース投稿や人道支援の要請やソーシャルメディアからの被害報告などによって議論されるトピックに関連する場所を結びつけるための手段を提供することができる。
初期の研究はルールベース、ガゼッタベース、ディープラーニング、ハイブリッドアプローチを活用してこの問題に対処してきた。
しかし、既存のツールのパフォーマンスは、きめ細かな正確な地理的情報に依存する緊急救助のような作業を支援するには不十分である。
先進的な事前訓練された言語モデルは、地名を含むテキスト情報の基本的特徴をよりよく捉え、実用的な応用を支えるために、匿名認識を最適化する有望な経路を提供する。
本稿では,一次元畳み込みニューラルネットワーク(cnn1d)とトランスフォーマ(bert)からの双方向エンコーダ表現に基づく頭文字認識モジュールtopobertを提案し,微調整を行った。
3つのデータセット(CoNLL2003-Train、Wikipedia3000、WNUT2017)を利用してハイパーパラメータをチューニングし、最高のトレーニング戦略を発見し、モデルをトレーニングする。
その他2つのデータセット(conll2003-testとharvey2017)がパフォーマンス評価に使用されている。
最適モデルアーキテクチャを決定するために,線形,多層パーセプトロン,CNN1Dの3つの区別された分類器をベンチマークする。
TopoBERTは、他の5つのベースラインモデルと比較して最先端のパフォーマンス(f1-score=0.865)を達成し、追加のトレーニングなしで様々なトポニム認識タスクに適用できる。
関連論文リスト
- Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。
我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。
3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
論文 参考訳(メタデータ) (2024-10-08T06:48:01Z) - Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。
最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。
提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文 参考訳(メタデータ) (2024-05-22T06:48:43Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-11-15T16:26:49Z) - A Unified BEV Model for Joint Learning of 3D Local Features and Overlap
Estimation [12.499361832561634]
本稿では,3次元局所特徴の同時学習と重なり推定のための統合鳥眼ビュー(BEV)モデルを提案する。
提案手法は,特に重複の少ないシーンにおいて,重複予測における既存手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-28T12:01:16Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-02-02T15:49:03Z) - Research on Dual Channel News Headline Classification Based on ERNIE
Pre-training Model [13.222137788045416]
提案モデルは従来のニューラルネットワークモデルと比較して,ニュース見出し分類の精度,精度,F1スコアを改善する。
大規模データ量でのニュース見出しテキストのマルチクラス化アプリケーションでは、うまく機能する。
論文 参考訳(メタデータ) (2022-02-14T10:44:12Z) - Graph Convolution for Re-ranking in Person Re-identification [40.9727538382413]
類似度指標としてユークリッド距離を保ちながら,学習特徴を改善するグラフベースの再ランク付け手法を提案する。
ビデオ中の各トラックレットのプロファイルベクトルを生成するための簡易で効果的な手法が提案されている。
論文 参考訳(メタデータ) (2021-07-05T18:40:43Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - Integrating Semantics and Neighborhood Information with Graph-Driven
Generative Models for Document Retrieval [51.823187647843945]
本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。
この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
論文 参考訳(メタデータ) (2021-05-27T11:29:03Z) - Point Transformer for Shape Classification and Retrieval of 3D and ALS
Roof PointClouds [3.3744638598036123]
本稿では,リッチポイントクラウド表現の導出を目的とした,完全注意モデルであるem Point Transformerを提案する。
モデルの形状分類と検索性能は,大規模都市データセット - RoofN3D と標準ベンチマークデータセット ModelNet40 で評価される。
提案手法は、RoofN3Dデータセットの他の最先端モデルよりも優れており、ModelNet40ベンチマークで競合する結果を与え、目に見えない点の破損に対して高い堅牢性を示す。
論文 参考訳(メタデータ) (2020-11-08T08:11:02Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。