論文の概要: Exploring Classic and Neural Lexical Translation Models for Information
Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
- arxiv url: http://arxiv.org/abs/2102.06815v1
- Date: Fri, 12 Feb 2021 23:21:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:42:14.966071
- Title: Exploring Classic and Neural Lexical Translation Models for Information
Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
- Title（参考訳）: 情報検索のための古典的および神経的語彙的翻訳モデルの検討 : 解釈可能性、有効性、効率上の利点
- Authors: Leonid Boytsov, Zico Kolter
- Abstract要約: ニューラルネットワークモデル1をアグリゲータ層として,コンテキストフリーあるいはコンテキスト化されたクエリ/ドキュメント埋め込みに適用する。
BERTをベースとしたコンテキスト型埋め込み上に,解釈可能なニューラルモデル1層を追加すると,精度や効率が低下しないことを示す。
私たちは、2020年末にMS MARCOドキュメントランキングリーダーボードで最高のニューラルおよび非ニューラルランを生産しました。
- 参考スコア（独自算出の注目度）: 0.11421942894219898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the utility of the lexical translation model (IBM Model 1) for
English text retrieval, in particular, its neural variants that are trained
end-to-end. We use the neural Model1 as an aggregator layer applied to
context-free or contextualized query/document embeddings. This new approach to
design a neural ranking system has benefits for effectiveness, efficiency, and
interpretability. Specifically, we show that adding an interpretable neural
Model 1 layer on top of BERT-based contextualized embeddings (1) does not
decrease accuracy and/or efficiency; and (2) may overcome the limitation on the
maximum sequence length of existing BERT models. The context-free neural Model
1 is less effective than a BERT-based ranking model, but it can run efficiently
on a CPU (without expensive index-time precomputation or query-time operations
on large tensors). Using Model 1 we produced best neural and non-neural runs on
the MS MARCO document ranking leaderboard in late 2020.
- Abstract（参考訳）: 辞書翻訳モデル(IBM Model 1)の英語テキスト検索における有用性,特にエンドツーエンドで訓練された神経変種について検討する。
ニューラルモデル1をアグリゲータ層として使用し,コンテキストフリーあるいはコンテキスト化されたクエリ/ドキュメント埋め込みに適用する。
ニューラルランキングシステムを設計するこの新しいアプローチは、有効性、効率性、解釈性に利点がある。
具体的には,既存のBERTモデルの最大シーケンス長の制限を克服するために,BERTをベースとしたコンテキスト型埋め込み(1)上に解釈可能なニューラルモデル1層を追加しても,精度や効率は低下しないことを示す。
コンテキストフリーのニューラルモデル1はBERTベースのランキングモデルよりも効果的ではありませんが、CPU上で効率的に実行できます(高価なインデックスタイムプリコンピューティングや大きなテンソルでのクエリタイム操作なしで)。
モデル1を使用して、2020年後半にMS MARCOドキュメントランキングリーダーボードで最高のニューラルおよび非ニューラルランを作成しました。
関連論文リスト
- Mitigating Data Scarcity for Large Language Models [7.259279261659759]
近年,事前学習型ニューラルネットワークモデル (PNLM) が嵐による自然言語処理の分野に進出している。
データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。
この論文では、データ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
論文 参考訳（メタデータ） (2023-02-03T15:17:53Z) - Fine-Tuning Language Models via Epistemic Neural Networks [17.92941914728862]
情報的トレーニングデータを優先順位付けできるならば、ラベルを減らしながらパフォーマンスを向上できることが示されます。
エピネットを使用して不確実なデータを優先順位付けし、GLUEタスク上のBERTを、優先順位付けなしでトレーニングよりも2倍少ないデータを使用しながら、同じパフォーマンスに微調整することができる。
論文 参考訳（メタデータ） (2022-11-03T03:24:46Z) - MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided
Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。
自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2022-04-15T23:19:37Z) - BERT WEAVER: Using WEight AVERaging to Enable Lifelong Learning for
Transformer-based Models in the Biomedical Domain [69.54942445850462]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、全てのデータを同時にトレーニングするのと同様の単語が埋め込まれることを示す。
論文 参考訳（メタデータ） (2022-02-21T10:34:41Z) - Research on Dual Channel News Headline Classification Based on ERNIE
Pre-training Model [13.222137788045416]
提案モデルは従来のニューラルネットワークモデルと比較して,ニュース見出し分類の精度,精度,F1スコアを改善する。
大規模データ量でのニュース見出しテキストのマルチクラス化アプリケーションでは、うまく機能する。
論文 参考訳（メタデータ） (2022-02-14T10:44:12Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking [62.634516517844496]
本稿では,解釈可能なルールとニューラルネットワークの性能を併用したニューラルシンボリックアプローチであるLNN-ELを提案する。
ルールの使用に制約があるにもかかわらず、LNN-ELはSotAのブラックボックスニューラルアプローチと競合する。
論文 参考訳（メタデータ） (2021-06-17T20:22:45Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳（メタデータ） (2020-03-29T14:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。