論文の概要: mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

• arxiv url: http://arxiv.org/abs/2407.19669v2
• Date: Mon, 14 Oct 2024 12:19:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 14:27:29.668970
• Title: mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
• Title（参考訳）: mGTE:多言語テキスト検索のための一般化長文表現と階調モデル
• Authors: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang,
• Abstract要約: まず、RoPEとアンパディングで強化されたテキストエンコーダを導入し、ネイティブの8192-tokenコンテキストで事前トレーニングを行った。 そして、コントラスト学習によりハイブリッドTRMとクロスエンコーダ・リランカを構築する。
• 参考スコア（独自算出の注目度）: 67.50604814528553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.
• Abstract（参考訳）: 長文多言語テキスト表現モデル(TRM)と再ランカをスクラッチから構築し,テキスト検索を行う。 テキストエンコーダ(ベースサイズ)をRoPEとアンパディングで拡張し,ネイティブな8192-tokenコンテキスト(以前の多言語エンコーダの512以上)で事前訓練した。 そして、コントラスト学習によりハイブリッドTRMとクロスエンコーダ・リランカを構築する。 評価の結果,テキストエンコーダは従来と同じ大きさのXLM-Rよりも優れていた。 一方,我々のTRMとリランカは大規模BGE-M3モデルの性能に適合し,長期コンテキスト検索ベンチマークでより良い結果が得られる。 さらに分析した結果,提案モデルでは,トレーニングと推論の双方において,高い効率性を示すことがわかった。 その効率性と有効性は、様々な研究や工業的応用に役立つと信じている。

関連論文リスト

• Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
  本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。 視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。 この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-04T17:59:25Z)
• Length-Aware Multi-Kernel Transformer for Long Document Classification [4.796752450839119]
  長いドキュメントは、かなりのメモリ消費のために、ニューラルネットワークモデルに固有の課題を生じさせる。 長文分類における新たな課題に対処するため,Longth-Aware Multi- Kernel Transformer (LAMKIT)を提案する。
  論文  参考訳（メタデータ） (2024-05-11T16:48:06Z)
• CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
  本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。 CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
  論文  参考訳（メタデータ） (2024-02-23T11:47:16Z)
• Towards General Text Embeddings with Multi-stage Contrastive Learning [20.803769345818456]
  GTEは多段階のコントラスト学習で訓練された汎用テキスト埋め込みモデルである。 複数の情報源からの多様なデータセットに対してコントラスト学習を用いることで、統一的なテキスト埋め込みモデルを訓練する。
  論文  参考訳（メタデータ） (2023-08-07T03:52:59Z)
• TMR: Text-to-Motion Retrieval Using Contrastive 3D Human Motion Synthesis [59.465092047829835]
  我々は、テキストから3次元の人間の動きを抽出する簡単な方法であるTMRを提案する。 提案手法は,最先端のテキスト-モーション合成モデルTEMOSを拡張した。 運動生成損失の維持は、対照的な訓練とともに、優れた性能を得るためには不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T17:52:41Z)
• JOIST: A Joint Speech and Text Streaming Model For ASR [63.15848310748753]
  JOISTは、音声テキストのペア入力とテキストのみのアンペア入力の両方で、ストリーミング、カスケード、エンコーダエンドツーエンド(E2E)モデルを訓練するアルゴリズムである。 JOISTの最良のテキスト表現は、テキストで訓練されていないモデルと比較して、様々な検索およびレアワードテストセットのWERを4-14%改善することがわかった。
  論文  参考訳（メタデータ） (2022-10-13T20:59:22Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
  長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。 我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。 われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
  論文  参考訳（メタデータ） (2020-04-26T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。