論文の概要: Improving Domain-Specific Retrieval by NLI Fine-Tuning
- arxiv url: http://arxiv.org/abs/2308.03103v1
- Date: Sun, 6 Aug 2023 12:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 16:39:58.733365
- Title: Improving Domain-Specific Retrieval by NLI Fine-Tuning
- Title（参考訳）: NLIファインチューニングによるドメイン特化検索の改善
- Authors: Roman Du\v{s}ek, Aleksander Wawer, Christopher Galias, Lidia
Wojciechowska
- Abstract要約: 本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。
コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。
この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
- 参考スコア（独自算出の注目度）: 64.79760042717822
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The aim of this article is to investigate the fine-tuning potential of
natural language inference (NLI) data to improve information retrieval and
ranking. We demonstrate this for both English and Polish languages, using data
from one of the largest Polish e-commerce sites and selected open-domain
datasets. We employ both monolingual and multilingual sentence encoders
fine-tuned by a supervised method utilizing contrastive loss and NLI data. Our
results point to the fact that NLI fine-tuning increases the performance of the
models in both tasks and both languages, with the potential to improve mono-
and multilingual models. Finally, we investigate uniformity and alignment of
the embeddings to explain the effect of NLI-based fine-tuning for an
out-of-domain use-case.
- Abstract（参考訳）: 本論文の目的は,自然言語推論(nli)データの微調整可能性を調査し,情報検索とランク付けを改善することである。
ポーランド最大のeコマースサイトと選択されたオープンドメインデータセットからのデータを用いて、英語とポーランド語の両方でこれを実証する。
コントラスト損失とnliデータを用いた教師付き手法で微調整した単言語および多言語文エンコーダを用いる。
この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
最後に,NLIによるドメイン外ユースケースの微調整の効果を説明するため,埋め込みの均一性とアライメントについて検討する。
関連論文リスト
- P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。
以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。
我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文 参考訳（メタデータ） (2024-11-14T01:29:36Z) - sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting [29.63634707674839]
本稿では,多言語合成指導調律データセット sPhinX を作成するための新しいレシピを提案する。
sPhinXは、命令応答対を英語から50言語に選択的に翻訳することで生成される。
本研究では,2つの最先端モデルであるMistral-7BとPhi-Smallを微調整するためにsPhinxの有効性を検証した。
論文 参考訳（メタデータ） (2024-07-13T13:03:45Z) - Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets [38.867815476721894]
ほとんどのインストラクションファインチューニング(IFT)データセットは、主に英語で書かれており、他の言語でのモデルパフォーマンスが制限されている。
多言語IFTデータセットを作成する従来の方法は、言語的ニュアンスを捕捉し、迅速な(指示)多様性を確保するのに苦労している。
本稿では,言語的自然性を維持し,迅速な多様性を保証する多言語IFTデータセットの収集手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T23:47:09Z) - MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference [65.37685198688538]
本稿では,5つの科学領域から抽出した132,320の文対を含むデータセットであるMSciNLIについて述べる。
我々は、微調整事前学習言語モデル(PLM)とLarge Language Model(LLM)によるMSciNLIの強力なベースラインを確立する。
ドメインシフトは、データセット内の異なるドメインの多様な特性を示す科学的なNLIモデルの性能を低下させることを示す。
論文 参考訳（メタデータ） (2024-04-11T18:12:12Z) - Cross-lingual Transfer or Machine Translation? On Data Augmentation for
Monolingual Semantic Textual Similarity [2.422759879602353]
Wikipediaデータの言語間転送では、モノリンガルSTSのパフォーマンスが改善されている。
学習データとしてNLIに着目した先行研究とは対照的に,これらの言語ではWikipediaドメインがNLIドメインよりも優れている。
論文 参考訳（メタデータ） (2024-03-08T12:28:15Z) - Improving Polish to English Neural Machine Translation with Transfer
Learning: Effects of Data Volume and Language Similarity [2.4674086273775035]
機械翻訳作業におけるデータ量と類似言語の使用が伝達学習に与える影響について検討する。
OPUS-100データセットを用いてポーランド語と英語の翻訳タスクに対してmBARTモデルを微調整する。
実験の結果、関連する言語と大量のデータの組み合わせは、関連する言語や大量のデータだけで訓練されたモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-06-01T13:34:21Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - OCNLI: Original Chinese Natural Language Inference [21.540733910984006]
我々は,中国における最初の大規模NLIデータセット(56,000の注釈付き文対からなる)であるOriginal Chinese Natural Language Inference dataset(OCNLI)を提示する。
NLIを他の言語に拡張しようとする最近の試みとは異なり、私たちのデータセットは自動翻訳や非専門家アノテーションに依存していません。
我々は、中国語の最先端の事前訓練モデルを用いて、データセット上でいくつかのベースライン結果を確立し、人間のパフォーマンスよりもはるかに優れたパフォーマンスモデルを見つける。
論文 参考訳（メタデータ） (2020-10-12T04:25:48Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳（メタデータ） (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。