論文の概要: Dewey Long Context Embedding Model: A Technical Report

• arxiv url: http://arxiv.org/abs/2503.20376v1
• Date: Wed, 26 Mar 2025 09:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:19:23.393896
• Title: Dewey Long Context Embedding Model: A Technical Report
• Title（参考訳）: Dewey Long Context Embedding Model: テクニカルレポート
• Authors: Dun Zhang, Panxiang Zou, Yudong Zhou,
• Abstract要約: dewey_en_betaは、MTEB(Eng, v2)およびLongEmbedベンチマーク上で優れたパフォーマンスを実現する、新しいテキスト埋め込みモデルである。 本稿では,オープンソースのdewey_en_beta埋め込みモデルのトレーニング手法と評価結果について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This technical report presents the training methodology and evaluation results of the open-source dewey_en_beta embedding model. The increasing demand for retrieval-augmented generation (RAG) systems and the expanding context window capabilities of large language models (LLMs) have created critical challenges for conventional embedding models. Current approaches often struggle to maintain semantic coherence when processing documents exceeding typical sequence length limitations, significantly impacting retrieval performance in knowledge-intensive applications. This paper presents dewey_en_beta, a novel text embedding model that achieves excellent performance on MTEB (Eng, v2) and LongEmbed benchmark while supporting 128K token sequences. Our technical contribution centers on chunk alignment training, an innovative methodology that enables the simultaneous generation of localized chunk embeddings and global document-level representations through distillation. Information regarding the model release can be found at https://huggingface.co/infgrad/dewey_en_beta.
• Abstract（参考訳）: 本稿では,オープンソースのdewey_en_beta埋め込みモデルのトレーニング手法と評価結果について述べる。 検索強化生成システム(RAG)の需要の増加と,大規模言語モデル(LLM)のコンテキストウインドウ機能の拡大は,従来の埋め込みモデルにとって重要な課題となっている。 現在のアプローチは、典型的なシーケンス長制限を超える文書を処理する際に意味コヒーレンスを維持するのに苦労することが多く、知識集約型アプリケーションにおける検索性能に大きな影響を及ぼす。 本稿では,MTEB(Eng, v2)およびLongEmbedベンチマークにおいて,128Kトークンシーケンスをサポートしながら優れた性能を実現する新しいテキスト埋め込みモデルであるdewey_en_betaを提案する。 我々の技術貢献は、蒸留による局所的なチャンク埋め込みとグローバルな文書レベルの表現の同時生成を可能にする革新的な手法であるチャンクアライメントトレーニング(チャンクアライメントトレーニング)に焦点を当てている。 モデルリリースに関する情報はhttps://huggingface.co/infgrad/dewey_en_beta.comで確認できる。

関連論文リスト

• Towards Compatible Fine-tuning for Vision-Language Model Updates [114.25776195225494]
  クラス条件付きコンテキスト最適化(ContCoOp)は、学習可能なプロンプトと、テキストエンコーダに入力する前に注意層を使用してクラス埋め込みを統合する。 15のデータセットで実験した結果,ContCoOpはベースライン法よりも高い互換性を示し,分布外一般化の堅牢性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-12-30T12:06:27Z)
• Efficient fine-tuning methodology of text embedding models for information retrieval: contrastive learning penalty (clp) [0.0]
  本研究では,事前学習したテキスト埋め込みモデルの情報検索性能を向上させるために,効率的な微調整手法を提案する。 提案手法は,文書検索タスクにおける既存手法よりも大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-12-23T07:55:22Z)
• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• A Novel LLM-based Two-stage Summarization Approach for Long Dialogues [9.835499880812646]
  本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案する。 凝縮段階は、教師なし生成モデルを用いて凝縮データを生成する。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。
  論文  参考訳（メタデータ） (2024-10-09T03:42:40Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Large Language Model for Verilog Generation with Golden Code Feedback [29.135207235743795]
  本研究は,ゴールドコードフィードバックを用いた強化学習を利用して,事前学習モデルの性能を向上させる手法を提案する。 我々は、最先端のSOTA(State-of-the-art)の結果をかなりの差で達成した。特に、我々の6.7Bパラメータモデルは、現行の13Bモデルと16Bモデルと比較して優れた性能を示している。
  論文  参考訳（メタデータ） (2024-07-21T11:25:21Z)
• Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
  本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。 視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。 この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-04T17:59:25Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension [31.639069657951747]
  機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。 長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
  論文  参考訳（メタデータ） (2021-05-07T13:03:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。