Fugu-MT 論文翻訳(概要): Nomic Embed: Training a Reproducible Long Context Text Embedder

論文の概要: Nomic Embed: Training a Reproducible Long Context Text Embedder

arxiv url: http://arxiv.org/abs/2402.01613v1
Date: Fri, 2 Feb 2024 18:23:18 GMT
ステータス: 処理完了
システム内更新日: 2024-02-05 13:47:49.570821
Title: Nomic Embed: Training a Reproducible Long Context Text Embedder
Title（参考訳）: Nomic Embed: 再現可能な長文埋め込みのトレーニング
Authors: Zach Nussbaum and John X. Morris and Brandon Duderstadt and Andriy Mulyar
Abstract要約: 本報告では,OpenAI Ada および OpenAI Text-embedding-3-small の短文および長文タスクにおける性能に優れた,完全再現性,オープンソース,オープンウェイト,オープンデータ,コンテキスト長8192 の英語テキスト埋め込みモデルである nomic-embed-text-v1 のトレーニングについて述べる。トレーニングコードとモデルの重み付けをApache 2ライセンスでリリースしています。
参考スコア（独自算出の注目度）: 1.4945875098530692
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This technical report describes the training of nomic-embed-text-v1, the first fully reproducible, open-source, open-weights, open-data, 8192 context length English text embedding model that outperforms both OpenAI Ada-002 and OpenAI text-embedding-3-small on short and long-context tasks. We release the training code and model weights under an Apache 2 license. In contrast with other open-source models, we release a training data loader with 235 million curated text pairs that allows for the full replication of nomic-embed-text-v1. You can find code and data to replicate the model at https://github.com/nomic-ai/contrastors
Abstract（参考訳）: この技術レポートでは、OpenAI Ada-002とOpenAI Text-embedding-3-smallの両方をショートおよびロングコンテキストタスクで上回る、完全な再現性、オープンソース、オープンウェイト、オープンデータ、8192コンテキスト長の英語テキスト埋め込みモデルであるnomic-embed-text-v1のトレーニングについて説明する。トレーニングコードとモデルの重み付けをApache 2ライセンスでリリースしています。他のオープンソースモデルとは対照的に、2億3500万のキュレートされたテキストペアを持つトレーニングデータローダをリリースし、nomic-embed-text-v1の完全なレプリケーションを可能にします。モデルはhttps://github.com/nomic-ai/contrastorsで複製できる。

関連論文リスト

Bootstrap Your Own Context Length [74.61148597039248]
長文言語モデルを学習するためのブートストラップ手法を提案する。提案したデータ合成ワークフローは、短いコンテキスト言語モデル、テキスト検索、文書収集のみを必要とする。我々は,オープンソースのLlama-3ファミリを用いて実験を行い,最大100万トークンまでコンテキスト長を拡張できることを実証した。
論文参考訳（メタデータ） (2024-12-25T10:08:54Z)
In-Context Code-Text Learning for Bimodal Software Engineering [26.0027882745058]
バイモーダルなソフトウェア分析は、大きな言語モデルの出現とともに、当初は手の届くところにあるように見えた。コードテキストのバイモーダル性に対するコンテキスト内学習は有望な道であると仮定する。我々は、23のソフトウェアエンジニアリングタスクを含む多様なデータセットを考察し、コンテキスト内学習フォーマットで変換する。
論文参考訳（メタデータ） (2024-10-08T19:42:00Z)
Coupling Speech Encoders with Downstream Text Models [4.679869237248675]
カスケード音声翻訳モデルを構築するためのモジュラー手法を提案する。我々は,与えられたタスクに対して,最先端音声認識(ASR)とテキスト翻訳(MT)の性能を維持する。
論文参考訳（メタデータ） (2024-07-24T19:29:13Z)
A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning [49.62044186504516]
文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
論文参考訳（メタデータ） (2024-07-03T12:50:49Z)
Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models [5.2094499417507105]
本報告では,テキスト埋込型テキスト埋め込みモデルのファミリの背後にあるトレーニングデータセットの作成とレシピについて述べる。リリース時点で、各モデルはMTEB検索のリーダーボード上で、その大きさのモデルに対する最先端の検索精度を達成した。
論文参考訳（メタデータ） (2024-05-08T19:05:18Z)
Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
論文参考訳（メタデータ） (2024-02-08T13:47:50Z)
Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data [75.7383558074758]
本研究はWhisperスタイル音声モデル(OWSM)を提案する。 OWSMはオープンソースツールキットと公開データを使ってWhisperスタイルのトレーニングを再現する。データ準備、トレーニング、推論、スコアリングに使用されるすべてのスクリプトと、オープンサイエンスを促進するための事前訓練されたモデルとトレーニングログを公開します。
論文参考訳（メタデータ） (2023-09-25T05:01:34Z)
Vec2Vec: A Compact Neural Network Approach for Transforming Text Embeddings with High Fidelity [0.0]
我々は、オープンソースの768次元MPNet埋め込みをテキストアダ埋め込みに変換するために、単純なニューラルネットワークを訓練した。私たちのモデルであるVec2Vecは軽量(80MB)で高速です。
論文参考訳（メタデータ） (2023-06-22T06:23:31Z)
Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models [69.59125732317972]
本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。 R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
論文参考訳（メタデータ） (2023-06-15T20:56:20Z)
CUE Vectors: Modular Training of Language Models Conditioned on Diverse Contextual Signals [11.310756148007753]
本稿では,多種多様な文・外部文脈(メタデータを含む)を用いたニューラルネットワークモデルの学習をモジュール化する枠組みを提案する。我々のアプローチである文脈的普遍埋め込み(CUE)は、日付や著者などの文脈の1つのセットでLMを訓練し、記事タイトルや前文のような新しいメタデータタイプに適応する。我々は、複数のメタデータ型を持つNYTimesテキストコーパス上でCUEフレームワークを検証する。
論文参考訳（メタデータ） (2022-03-16T17:37:28Z)
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
論文参考訳（メタデータ） (2020-10-15T14:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。