論文の概要: Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions

• arxiv url: http://arxiv.org/abs/2407.20243v1
• Date: Wed, 17 Jul 2024 18:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 00:56:24.443117
• Title: Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions
• Title（参考訳）: Matryoshka-Adaptor: より小さな埋め込み次元のための教師なしおよび教師なしチューニング
• Authors: Jinsung Yoon, Raj Sinha, Sercan O Arik, Tomas Pfister,
• Abstract要約: Matryoshka-Adaptorは、LLM(Large Language Models)からの埋め込みをカスタマイズするためのチューニングフレームワークである。 Matryoshka-Adaptorは、同等のパフォーマンスレベルを維持しながら、相当な次元削減を促進する。 教師なしと教師なしの両方の学習環境において有効性を示す。
• 参考スコア（独自算出の注目度）: 32.52815148408271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embeddings from Large Language Models (LLMs) have emerged as critical components in various applications, particularly for information retrieval. While high-dimensional embeddings generally demonstrate superior performance as they contain more salient information, their practical application is frequently hindered by elevated computational latency and the associated higher cost. To address these challenges, we propose Matryoshka-Adaptor, a novel tuning framework designed for the customization of LLM embeddings. Matryoshka-Adaptor facilitates substantial dimensionality reduction while maintaining comparable performance levels, thereby achieving a significant enhancement in computational efficiency and cost-effectiveness. Our framework directly modifies the embeddings from pre-trained LLMs which is designed to be seamlessly integrated with any LLM architecture, encompassing those accessible exclusively through black-box APIs. Also, it exhibits efficacy in both unsupervised and supervised learning settings. A rigorous evaluation conducted across a diverse corpus of English, multilingual, and multimodal datasets consistently reveals substantial gains with Matryoshka-Adaptor. Notably, with Google and OpenAI Embedding APIs, Matryoshka-Adaptor achieves a reduction in dimensionality ranging from two- to twelve-fold without compromising performance across multiple BEIR datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)からの埋め込みは、特に情報検索において、様々なアプリケーションにおいて重要なコンポーネントとして現れてきた。 高次元埋め込みは一般により健全な情報を含むため優れた性能を示すが、その実用的応用は計算遅延の増大とそれに伴うコストの上昇によってしばしば妨げられる。 これらの課題に対処するために,LLM埋め込みをカスタマイズするための新しいチューニングフレームワークであるMatryoshka-Adaptorを提案する。 Matryoshka-Adaptorは、同等の性能レベルを維持しながら、相当な次元削減を促進し、計算効率とコスト効率を大幅に向上させる。 我々のフレームワークは、いかなるLLMアーキテクチャともシームレスに統合できるように設計され、ブラックボックスAPIを通してのみアクセス可能なものを含む、事前訓練されたLLMからの埋め込みを直接修正します。 また、教師なしと教師なしの両方の学習環境において有効性を示す。 英語、多言語、多モーダルデータセットの多種多様なコーパスに対して行われた厳密な評価は、Matryoshka-Adaptorによる顕著な利得を一貫して示している。 特に、GoogleとOpenAI Embedding APIによって、Matryoshka-Adaptorは、複数のBEIRデータセットのパフォーマンスを損なうことなく、2倍から12倍の次元の縮小を実現している。

関連論文リスト

• Break the ID-Language Barrier: An Adaption Framework for Sequential Recommendation [10.305878081909743]
  ドメイン固有知識に富んだ事前学習ID埋め込みを,大規模言語モデルに統合するフレームワークであるIDLE-Adapterを提案する。 IDLE-Adapterはブリッジとして機能し、疎いユーザ-イテムインタラクションデータを高密度でLLM互換の表現に変換する。
  論文  参考訳（メタデータ） (2024-11-27T11:59:44Z)
• JEMA: A Joint Embedding Framework for Scalable Co-Learning with Multimodal Alignment [0.0]
  JEMA(Joint Embedding with Multimodal Alignment)は、レーザー金属沈着(LMD)に適した新しいコラーニングフレームワークである。 教師付きコントラスト学習と比較して,マルチモーダル・セッティングのパフォーマンスは8%向上し,ユニモーダル・セッティングは1%向上した。 我々のフレームワークは、メタデータとマルチセンサデータを統合する基盤を築き、MDドメイン以降の様々な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2024-10-31T14:42:26Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs [40.74693126923826]
  MLLM(Multimodal Large Language Models)は近年,知覚能力や推論能力が著しく向上している。 イメージレベルの監督を施したトレーニングアダプタは、しばしば重大なミスアライメントをもたらす。 本稿では,視覚言語による事前学習モデルを活用したトークンレベルのアライメント手法であるSupervised Embedding Alignment (SEA)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T17:58:02Z)
• Beyond Correctness: Benchmarking Multi-dimensional Code Generation for Large Language Models [43.56644186785491]
  本稿では,大規模言語モデルが生成するコードの品質を包括的に評価する RACE ベンチマークを提案する。 RACEに基づいて28の代表的なLCMを分析し、現在の正しさ中心のベンチマークでは、実世界のシナリオにおけるコードの多面的要求をキャプチャできないことを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:08:48Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。