論文の概要: Towards Robust Text Retrieval with Progressive Learning
- arxiv url: http://arxiv.org/abs/2311.11691v1
- Date: Mon, 20 Nov 2023 11:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:04:15.908907
- Title: Towards Robust Text Retrieval with Progressive Learning
- Title(参考訳): プログレッシブラーニングによるロバストテキスト検索に向けて
- Authors: Tong Wu, Yulei Qin, Enwei Zhang, Zihan Xu, Yuting Gao, Ke Li, Xing Sun
- Abstract要約: テキスト検索のための埋め込み手法であるPEGを提案する。
トレーニング中の負のサンプルを80,000まで増やし,クエリ毎に5つのハードネガティブを抽出した。
PEGは1億以上のデータに基づいてトレーニングされており、幅広いドメインを含んでいる。
- 参考スコア(独自算出の注目度): 31.81063977662941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval augmentation has become an effective solution to empower large
language models (LLMs) with external and verified knowledge sources from the
database, which overcomes the limitations and hallucinations of LLMs in
handling up-to-date and domain-specific information. However, existing
embedding models for text retrieval usually have three non-negligible
limitations. First, the number and diversity of samples in a batch are too
restricted to supervise the modeling of textual nuances at scale. Second, the
high proportional noise are detrimental to the semantic correctness and
consistency of embeddings. Third, the equal treatment to easy and difficult
samples would cause sub-optimum convergence of embeddings with poorer
generalization. In this paper, we propose the PEG, a progressively learned
embeddings for robust text retrieval. Specifically, we increase the training
in-batch negative samples to 80,000, and for each query, we extracted five hard
negatives. Concurrently, we incorporated a progressive learning mechanism,
enabling the model to dynamically modulate its attention to the samples
throughout the entire training process. Additionally, PEG is trained on more
than 100 million data, encompassing a wide range of domains (e.g., finance,
medicine, and tourism) and covering various tasks (e.g., question-answering,
machine reading comprehension, and similarity matching). Extensive experiments
conducted on C-MTEB and DuReader demonstrate that PEG surpasses
state-of-the-art embeddings in retrieving true positives, highlighting its
significant potential for applications in LLMs. Our model is publicly available
at https://huggingface.co/TownsWu/PEG.
- Abstract(参考訳): 検索の強化は、LLMの最新の情報やドメイン固有の情報を扱う際の限界と幻覚を克服し、データベースから外部および検証された知識ソースで大きな言語モデル(LLM)を強化する効果的なソリューションとなっている。
しかし、既存のテキスト検索の埋め込みモデルは、通常、無視できない制限が3つある。
まず、バッチ内のサンプルの数と多様性は、大規模なテキストニュアンスモデリングを監督するには制限されすぎます。
第二に、高い比例雑音は埋め込みの意味的正しさと一貫性を損なう。
第三に、簡単で難しいサンプルに対する同等の処理は、より低い一般化を伴う埋め込みの準最適収束を引き起こす。
本稿では,ロバストテキスト検索のための段階的に学習された埋め込みであるPEGを提案する。
具体的には、トレーニング中の負のサンプルを80,000まで増やし、クエリ毎に5つのハードネガティブを抽出した。
同時に,学習過程全体を通して,モデルが標本に対する注意を動的に調整できるプログレッシブ学習機構を組み込んだ。
さらに、PEGは1億以上のデータに基づいて訓練されており、幅広い領域(金融、医療、観光など)を包含し、様々なタスク(質問応答、機械読解、類似性マッチングなど)をカバーしている。
C-MTEBとDuReaderで実施された大規模な実験は、PEGが真の正の検索において最先端の埋め込みを超越していることを示し、LLMの応用の可能性を強調している。
私たちのモデルはhttps://huggingface.co/TownsWu/PEG.comで公開されています。
関連論文リスト
- RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Negotiated Representations for Machine Mearning Application [0.0]
オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。
本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
論文 参考訳(メタデータ) (2023-11-19T19:53:49Z) - Consistency Regularisation in Varying Contexts and Feature Perturbations
for Semi-Supervised Semantic Segmentation of Histology Images [14.005379068469361]
この課題を軽減するために,一貫性に基づく半教師付き学習(SSL)アプローチを提案する。
SSLモデルは、コンテキストの変更や、限られたトレーニングデータのために一般化が不十分な特徴の摂動にも影響する可能性がある。
相互整合性トレーニングにより、エンコーダの特徴が異なる摂動に不変となり、予測信頼性が向上することを示す。
論文 参考訳(メタデータ) (2023-01-30T18:21:57Z) - Generative Negative Text Replay for Continual Vision-Language
Pretraining [95.2784858069843]
視覚言語による事前学習が近年注目を集めている。
大量のデータは、通常ストリーミング形式で収集される。
本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T13:42:21Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。
実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。
また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
論文 参考訳(メタデータ) (2020-05-07T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。