論文の概要: The Role of Complex NLP in Transformers for Text Ranking?

• arxiv url: http://arxiv.org/abs/2207.02522v1
• Date: Wed, 6 Jul 2022 08:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 12:16:09.729826
• Title: The Role of Complex NLP in Transformers for Text Ranking?
• Title（参考訳）: テキストランキングにおけるトランスフォーマーにおける複合nlpの役割
• Authors: David Rau, Jaap Kamps
• Abstract要約: 本研究は, BERTの再分類の有効性において, 統語的側面が重要な役割を果たさないことを示す。 クエリパスのクロスアテンションや、集約されたコンテキストに基づいて単語の意味をキャプチャするよりリッチな埋め込みなど、他のメカニズムを指摘する。
• 参考スコア（独自算出の注目度）: 2.227822766415462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even though term-based methods such as BM25 provide strong baselines in ranking, under certain conditions they are dominated by large pre-trained masked language models (MLMs) such as BERT. To date, the source of their effectiveness remains unclear. Is it their ability to truly understand the meaning through modeling syntactic aspects? We answer this by manipulating the input order and position information in a way that destroys the natural sequence order of query and passage and shows that the model still achieves comparable performance. Overall, our results highlight that syntactic aspects do not play a critical role in the effectiveness of re-ranking with BERT. We point to other mechanisms such as query-passage cross-attention and richer embeddings that capture word meanings based on aggregated context regardless of the word order for being the main attributions for its superior performance.
• Abstract（参考訳）: bm25のような用語ベースの手法はランク付けにおいて強力なベースラインを提供するが、特定の条件下ではbertのような大規模な事前学習されたマスク言語モデル(mlms)に支配されている。 今のところ、その効果の出所は不明である。 構文的な側面をモデル化することで、真の意味を理解する能力はあるか? 入力順序と位置情報を問合せと通過の自然な順序を損なう方法で操作することにより,モデルが依然として同等の性能を発揮することを示す。 以上の結果から,構文的側面はBERTによる再ランク付けの有効性において重要な役割を果たさないことが明らかとなった。 クエリ・パス・クロスアテンションやよりリッチな埋め込みなど,単語の順序に関わらず,単語の意味を集約したコンテキストに基づいてキャプチャするメカニズムを指摘する。

関連論文リスト

• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Measuring Reliability of Large Language Models through Semantic Consistency [3.4990427823966828]
  我々は,オープンなテキスト出力の比較を可能にする意味的一貫性の尺度を開発した。 我々は,この整合度尺度のいくつかのバージョンを実装し,パラフレーズ化した質問に対して,複数のPLMの性能を評価する。
  論文  参考訳（メタデータ） (2022-11-10T20:21:07Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Superbizarre Is Not Superb: Improving BERT's Interpretations of Complex Words with Derivational Morphology [13.535770763481905]
  PLMは連続二重ルートモデル、すなわち複素単語の意味が格納されるか、あるいはサブワードから計算される必要があると解釈できることを示した。 入力トークンの形態的インフォームドボキャブラリを用いた場合, PLMの一般化能力はさらに向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-01-02T08:36:48Z)
• Out of Order: How important is the sequential order of words in a sentence in Natural Language Understanding tasks? [34.18339528128342]
  最先端の自然言語理解モデルは、予測を行うときに単語の順序を気にしません。 BERTベースのモデルは、ランダムな順序でトークンが配置された場合、表面的な手がかりを利用して正しい決定を行う。 我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。
  論文  参考訳（メタデータ） (2020-12-30T14:56:12Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。