論文の概要: ColBERT's [MASK]-based Query Augmentation: Effects of Quadrupling the Query Input Length

• arxiv url: http://arxiv.org/abs/2408.13672v1
• Date: Sat, 24 Aug 2024 21:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 16:53:39.511780
• Title: ColBERT's [MASK]-based Query Augmentation: Effects of Quadrupling the Query Input Length
• Title（参考訳）: ColBERTの[MASK]ベースのクエリ拡張:クエリ入力長の4倍化の効果
• Authors: Ben Giacalone, Richard Zanibbi,
• Abstract要約: 我々は、[MASK]トークンが非[MASK]クエリ項を重み付けしていることを示し、他のトークンよりも特定のトークンを強調する。 次に,[MASK]トークンの数を0から4倍に変化させる効果について検討した。
• 参考スコア（独自算出の注目度）: 3.192109204993465
• License:
• Abstract: A unique aspect of ColBERT is its use of [MASK] tokens in queries to score documents (query augmentation). Prior work shows [MASK] tokens weighting non-[MASK] query terms, emphasizing certain tokens over others , rather than introducing whole new terms as initially proposed. We begin by demonstrating that a term weighting behavior previously reported for [MASK] tokens in ColBERTv1 holds for ColBERTv2. We then examine the effect of changing the number of [MASK] tokens from zero to up to four times past the query input length used in training, both for first stage retrieval, and for scoring candidates, observing an initial decrease in performance with few [MASK]s, a large increase when enough [MASK]s are added to pad queries to an average length of 32, then a plateau in performance afterwards. Additionally, we compare baseline performance to performance when the query length is extended to 128 tokens, and find that differences are small (e.g., within 1% on various metrics) and generally statistically insignificant, indicating performance does not collapse if ColBERT is presented with more [MASK] tokens than expected.
• Abstract（参考訳）: ColBERTのユニークな側面は、クエリに[MASK]トークンを使用してドキュメント(クエリ拡張)をスコアすることだ。 以前の作業では、[MASK]トークンは、最初に提案されたように、まったく新しい用語を導入するのではなく、他のトークンよりも特定のトークンを強調する、非(MASK)クエリ用語の重み付けを示しています。 我々は、ColBERTv1の[MASK]トークンに対して以前に報告された項重み付け動作がColBERTv2に対して成り立つことを示すことから始める。 次に、第1ステージ検索とスコアリング候補の両方において、トレーニングで使用されるクエリ入力長がゼロから最大4倍に変化した場合、[MASK]がほとんどなく、[MASK]がパットクエリに十分に加算された場合、[MASK]が平均32に増加し、その後、パフォーマンスが高騰するのを観察し、トレーニングで使用されるクエリ入力長を最大4倍に変更する効果について検討する。 さらに,クエリ長が128のトークンに拡張された場合のベースライン性能とパフォーマンスを比較し,差が小さく(例えば,さまざまなメトリクスで1%以内),統計的に重要でないこと,ColBERTに期待以上の[MASK]トークンが提示された場合のパフォーマンスが低下しないことを示す。

関連論文リスト

• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• Tree Cross Attention [59.8891512435847]
  Tree Cross Attention (TCA) は、Cross Attentionに基づくモジュールで、パラメータ $mathcalO(log(N))$ のトークン数からのみ情報を取得する。 さまざまな分類や不確実性回帰タスクに対して,TCAはクロスアテンションに匹敵する性能を示し,トークン効率は著しく向上した。
  論文  参考訳（メタデータ） (2023-09-29T16:50:23Z)
• Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
  本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。 我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-05-07T10:32:18Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• Dynamic Focus-aware Positional Queries for Semantic Segmentation [94.6834904076914]
  本稿では,動的焦点認識型位置情報クエリと呼ばれるセマンティックセグメンテーションのための,シンプルで効果的なクエリ設計を提案する。 我々のフレームワークはSOTAの性能を達成し、ResNet-50、Swin-T、Swin-Bのバックボーンによる1.1%、1.9%、および1.1%の単一スケールmIoUでMask2formerより優れています。
  論文  参考訳（メタデータ） (2022-04-04T05:16:41Z)
• Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
  BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。 本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。 コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
  論文  参考訳（メタデータ） (2022-03-27T19:52:01Z)
• Introducing Neural Bag of Whole-Words with ColBERTer: Contextualized Late Interactions using Enhanced Reduction [10.749746283569847]
  ColBERTerは、文脈化された遅延相互作用(ColBERT)と強化されたリダクションを用いたニューラル検索モデルである。 マルチベクタコンポーネントのために、ColBERTerは、各ドキュメントの用語に対するユニークな全ワード表現を学習することで、ドキュメントごとの格納数を減らす。 MS MARCOとTREC-DLのコレクションの結果から、ColBERTerは最大2.5倍のストレージフットプリントを削減できるが、有効性は維持できる。
  論文  参考訳（メタデータ） (2022-03-24T14:28:07Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Protum: A New Method For Prompt Tuning Based on "[MASK]" [12.057434751507552]
  本稿では,[textbfMASK](textbfProtum)法に基づく新しいtextbfPrompt textbfTuningを提案する。 textbfProtumは、時間消費の少ない継続的な事前トレーニングの後、微調整よりもはるかに優れたパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-01-28T13:34:30Z)
• A Study on Token Pruning for ColBERT [0.7646713951724011]
  ColBERTモデルは最近、有効なBERTベースのランク付けとして提案されている。 モデルの大きな欠点はインデックスサイズであり、コレクション内のトークンの数と線形にスケールする。 本稿では,この問題に対処するために,ColBERTモデルの様々な設計について検討する。
  論文  参考訳（メタデータ） (2021-12-13T10:24:54Z)
• Temporal Query Networks for Fine-grained Video Understanding [88.9877174286279]
  我々はこれをクエリ応答機構にキャストし、各クエリが特定の質問に対処し、独自の応答ラベルセットを持つ。 本手法は,細粒度動作分類のためのファインガイムおよびダイビング48ベンチマークを広範囲に評価し,rgb機能のみを用いて最先端の動作分類を克服した。
  論文  参考訳（メタデータ） (2021-04-19T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。