論文の概要: Exploring Classic and Neural Lexical Translation Models for Information
Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
- arxiv url: http://arxiv.org/abs/2102.06815v1
- Date: Fri, 12 Feb 2021 23:21:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:42:14.966071
- Title: Exploring Classic and Neural Lexical Translation Models for Information
Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
- Title（参考訳）: 情報検索のための古典的および神経的語彙的翻訳モデルの検討 : 解釈可能性、有効性、効率上の利点
- Authors: Leonid Boytsov, Zico Kolter
- Abstract要約: ニューラルネットワークモデル1をアグリゲータ層として,コンテキストフリーあるいはコンテキスト化されたクエリ/ドキュメント埋め込みに適用する。
BERTをベースとしたコンテキスト型埋め込み上に,解釈可能なニューラルモデル1層を追加すると,精度や効率が低下しないことを示す。
私たちは、2020年末にMS MARCOドキュメントランキングリーダーボードで最高のニューラルおよび非ニューラルランを生産しました。
- 参考スコア（独自算出の注目度）: 0.11421942894219898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the utility of the lexical translation model (IBM Model 1) for
English text retrieval, in particular, its neural variants that are trained
end-to-end. We use the neural Model1 as an aggregator layer applied to
context-free or contextualized query/document embeddings. This new approach to
design a neural ranking system has benefits for effectiveness, efficiency, and
interpretability. Specifically, we show that adding an interpretable neural
Model 1 layer on top of BERT-based contextualized embeddings (1) does not
decrease accuracy and/or efficiency; and (2) may overcome the limitation on the
maximum sequence length of existing BERT models. The context-free neural Model
1 is less effective than a BERT-based ranking model, but it can run efficiently
on a CPU (without expensive index-time precomputation or query-time operations
on large tensors). Using Model 1 we produced best neural and non-neural runs on
the MS MARCO document ranking leaderboard in late 2020.
- Abstract（参考訳）: 辞書翻訳モデル(IBM Model 1)の英語テキスト検索における有用性,特にエンドツーエンドで訓練された神経変種について検討する。
ニューラルモデル1をアグリゲータ層として使用し,コンテキストフリーあるいはコンテキスト化されたクエリ/ドキュメント埋め込みに適用する。
ニューラルランキングシステムを設計するこの新しいアプローチは、有効性、効率性、解釈性に利点がある。
具体的には,既存のBERTモデルの最大シーケンス長の制限を克服するために,BERTをベースとしたコンテキスト型埋め込み(1)上に解釈可能なニューラルモデル1層を追加しても,精度や効率は低下しないことを示す。
コンテキストフリーのニューラルモデル1はBERTベースのランキングモデルよりも効果的ではありませんが、CPU上で効率的に実行できます(高価なインデックスタイムプリコンピューティングや大きなテンソルでのクエリタイム操作なしで)。
モデル1を使用して、2020年後半にMS MARCOドキュメントランキングリーダーボードで最高のニューラルおよび非ニューラルランを作成しました。
関連論文リスト
- Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。
本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。
テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
論文 参考訳（メタデータ） (2023-10-25T01:30:26Z) - Mitigating Data Scarcity for Large Language Models [7.259279261659759]
近年,事前学習型ニューラルネットワークモデル (PNLM) が嵐による自然言語処理の分野に進出している。
データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。
この論文では、データ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
論文 参考訳（メタデータ） (2023-02-03T15:17:53Z) - A Natural Bias for Language Generation Models [31.44752136404971]
我々は、一グラムの周波数統計を先行知識として反映した別個のモジュールで、標準のニューラルネットワーク生成モデルを実現することができることを示す。
この単純なテクニックのテストベッドとしてニューラルマシン翻訳を使用し、(i)学習効率の向上、(ii)全体的なパフォーマンスの向上、そしておそらく最も重要なことは、強い周波数効果を歪めているように見えることです。
論文 参考訳（メタデータ） (2022-12-19T18:14:36Z) - MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided
Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。
自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2022-04-15T23:19:37Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳（メタデータ） (2021-12-05T21:57:22Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking [62.634516517844496]
本稿では,解釈可能なルールとニューラルネットワークの性能を併用したニューラルシンボリックアプローチであるLNN-ELを提案する。
ルールの使用に制約があるにもかかわらず、LNN-ELはSotAのブラックボックスニューラルアプローチと競合する。
論文 参考訳（メタデータ） (2021-06-17T20:22:45Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳（メタデータ） (2020-03-29T14:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。