Fugu-MT 論文翻訳(概要): Zero-shot Entity Linking with Efficient Long Range Sequence Modeling

論文の概要: Zero-shot Entity Linking with Efficient Long Range Sequence Modeling

arxiv url: http://arxiv.org/abs/2010.06065v1
Date: Mon, 12 Oct 2020 22:59:18 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 05:48:23.775408
Title: Zero-shot Entity Linking with Efficient Long Range Sequence Modeling
Title（参考訳）: 効率的な長距離シーケンスモデリングによるゼロショットエンティティリンク
Authors: Zonghai Yao, Liangliang Cao and Huapu Pan
Abstract要約: 長距離シーケンスモデリングをシンプルかつ効果的に拡張する方法を見つける。提案手法では,長い位置埋め込みによるBERTの事前訓練は不要である。本実験は,BERTモデルを再学習することなく,長距離シーケンスモデリングの有効性を示唆する。
参考スコア（独自算出の注目度）: 13.472133201766967
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper considers the problem of zero-shot entity linking, in which a link in the test time may not present in training. Following the prevailing BERT-based research efforts, we find a simple yet effective way is to expand the long-range sequence modeling. Unlike many previous methods, our method does not require expensive pre-training of BERT with long position embedding. Instead, we propose an efficient position embeddings initialization method called Embedding-repeat, which initializes larger position embeddings based on BERT-Base. On Wikia's zero-shot EL dataset, our method improves the SOTA from 76.06% to 79.08%, and for its long data, the corresponding improvement is from 74.57% to 82.14%. Our experiments suggest the effectiveness of long-range sequence modeling without retraining the BERT model.
Abstract（参考訳）: 本稿では,テスト時間内のリンクがトレーニングに存在しない場合のゼロショットエンティティリンクの問題について考察する。 BERTをベースとした研究に続き、長距離シーケンスモデリングの拡張をシンプルかつ効果的に行う方法を見出した。従来の方法とは異なり,提案手法では長い位置を埋め込んだBERTの事前学習は不要である。そこで本研究では,BERT-Baseをベースとした位置埋め込みの初期化手法である Embedding-repeat を提案する。 WikiaのゼロショットELデータセットでは、SOTAを76.06%から79.08%に改善し、長いデータでは74.57%から82.14%に改善した。本実験は,BERTモデルを再学習することなく,長距離シーケンスモデリングの有効性を示唆する。

関連論文リスト

Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文参考訳（メタデータ） (2023-11-20T14:50:12Z)
Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
論文参考訳（メタデータ） (2023-10-31T15:41:08Z)
DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文参考訳（メタデータ） (2023-10-02T17:52:24Z)
DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
既存の入力適応推論手法ではBERTの構造を十分に活用できない。本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
論文参考訳（メタデータ） (2023-07-26T07:18:50Z)
Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文参考訳（メタデータ） (2022-07-06T13:06:31Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
BERTVision -- A Parameter-Efficient Approach for Question Answering [0.0]
本稿では,BERTファインチューニングの必要性を大幅に低減する,質問応答に対するパラメータ効率の高い手法を提案する。提案手法では,各BERTトランス層の隠れ状態アクティベーションから得られる情報を用いて,典型的なBERT推論時に破棄される。実験の結果,本手法は多岐にわたるQAだけでなく,分類にも有効であり,より広い範囲のタスクに向いていることが示唆された。
論文参考訳（メタデータ） (2022-02-24T17:16:25Z)
Finding the Winning Ticket of BERT for Binary Text Classification via Adaptive Layer Truncation before Fine-tuning [7.797987384189306]
BERTをベースとしたモデルのサイズの異なるモデルを構築し、それらの予測を8つのバイナリ分類タスクで比較する。結果は、完全なモデルよりもパフォーマンスが良い小さなサブネットワークが存在することを示している。
論文参考訳（メタデータ） (2021-11-22T02:22:47Z)
The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
論文参考訳（メタデータ） (2021-06-30T15:56:44Z)
CoRe: An Efficient Coarse-refined Training Framework for BERT [17.977099111813644]
本稿では,BERT のトレーニングを高速化するために,CoRe という新たな粗調整トレーニングフレームワークを提案する。第1フェーズでは、元のBERTよりもはるかに少ないパラメータとモデル複雑さを持つ緩和されたBERTモデルを構築した。第2段階では、訓練された緩和されたBERTモデルを元のBERTに変換し、さらにモデルを再訓練する。
論文参考訳（メタデータ） (2020-11-27T09:49:37Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。