論文の概要: Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management

• arxiv url: http://arxiv.org/abs/2506.01254v1
• Date: Mon, 02 Jun 2025 02:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.715189
• Title: Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management
• Title（参考訳）: メモリ効率の良いFastText:二重アレイトリエ構造とMark-Compactメモリ管理を用いた総合的アプローチ
• Authors: Yimin Du,
• Abstract要約: FastTextは、単語表現を学習するための基本的なアルゴリズムとして自らを確立した。 しかし、ハッシュベースのバケット機構は、大規模産業展開に重大な制限をもたらす。 本稿では,FastTextのメモリ管理を再定義するメモリ最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FastText has established itself as a fundamental algorithm for learning word representations, demonstrating exceptional capability in handling out-of-vocabulary words through character-level n-gram embeddings. However, its hash-based bucketing mechanism introduces critical limitations for large-scale industrial deployment: hash collisions cause semantic drift, and memory requirements become prohibitively expensive when dealing with real-world vocabularies containing millions of terms. This paper presents a comprehensive memory optimization framework that fundamentally reimagines FastText's memory management through the integration of double-array trie (DA-trie) structures and mark-compact garbage collection principles. Our approach leverages the linguistic insight that n-grams sharing common prefixes or suffixes exhibit highly correlated embeddings due to co-occurrence patterns in natural language. By systematically identifying and merging semantically similar embeddings based on structural relationships, we achieve compression ratios of 4:1 to 10:1 while maintaining near-perfect embedding quality. The algorithm consists of four sophisticated phases: prefix trie construction with embedding mapping, prefix-based similarity compression, suffix-based similarity compression, and mark-compact memory reorganization. Comprehensive experiments on a 30-million Chinese vocabulary dataset demonstrate memory reduction from over 100GB to approximately 30GB with negligible performance degradation. Our industrial deployment results show significant cost reduction, faster loading times, and improved model reliability through the elimination of hash collision artifacts. Code and experimental implementations are available at: https://github.com/initial-d/me_fasttext
• Abstract（参考訳）: FastTextは、単語表現を学習するための基本的なアルゴリズムとして確立されており、文字レベルのn-gram埋め込みを通じて語彙外単語を扱う際、例外的な能力を示している。 しかし、ハッシュベースのバケット機構は、大規模な産業展開において重要な制限をもたらす: ハッシュ衝突はセマンティックドリフトを引き起こし、数百万の用語を含む実世界の語彙を扱う場合、メモリ要求は違法に高価になる。 本稿では,Double-array Trie(DA-trie)構造とマークコンパクトガベージコレクションの原則を統合することで,FastTextのメモリ管理を根本的に再定義する,包括的なメモリ最適化フレームワークを提案する。 本手法は, 共通接頭辞や接尾辞を共有するn-gramが, 自然言語の共起パターンにより, 高度に相関した埋め込みを示すという言語学的知見を活用する。 構造的関係に基づいて意味論的に類似した埋め込みを体系的に同定し、マージすることにより、ほぼ完全な埋め込み品質を維持しつつ、4:1から10:1の圧縮比を達成できる。 このアルゴリズムは, 組込みマッピングを用いたプレフィックストリエ構成, プレフィックスベース類似性圧縮, 接尾辞ベース類似性圧縮, マークコンパクトメモリ再構成の4段階からなる。 3000万の中国語語彙データセットに関する総合的な実験では、メモリを100GB以上から30GB程度に削減し、性能劣化を無視できることを示した。 産業展開の結果, コスト削減, ロード時間の短縮, ハッシュ衝突アーティファクトの除去によるモデル信頼性の向上が見られた。 コードと実験的な実装は、https://github.com/initial-d/me_fasttext.comで利用可能である。

関連論文リスト

• Cognitive Memory in Large Language Models [8.059261857307881]
  本稿では,Large Language Models (LLMs) における記憶機構について検討し,文脈に富む応答の重要性,幻覚の減少,効率の向上などを強調した。 メモリは、インプットプロンプト、短期記憶処理の即時コンテキスト、外部データベースや構造を介して実装された長期記憶に対応して、インプットプロンプト、短期記憶、長期記憶に分類する。
  論文  参考訳（メタデータ） (2025-04-03T09:58:19Z)
• Efficient Beam Search for Large Language Models Using Trie-Based Decoding [10.302821791274129]
  本稿では,バッチベースのビームサーチのメモリ非効率性に対処する並列デコーディング手法を提案する。 同じプレフィックスを共有するすべてのビーム間で単一のキャッシュを共有することで、提案手法はメモリ消費を劇的に削減するだけでなく、すべてのブランチ間で並列デコードを可能にする。 プレフィックスツリーのこの革新的な利用は、ビーム探索の効率的な代替手段を提供し、推論速度を保ちながら大きなメモリ節約を実現し、特にメモリ制約のある環境や大規模なモデル展開に適している。
  論文  参考訳（メタデータ） (2025-01-31T16:22:36Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
  Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。 検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。 1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
  論文  参考訳（メタデータ） (2023-10-02T16:48:47Z)
• ELITE: Encoding Visual Concepts into Textual Embeddings for Customized Text-to-Image Generation [59.44301617306483]
  高速かつ正確にカスタマイズされた画像生成のための学習ベースエンコーダを提案する。 提案手法は,高速な符号化処理により,高忠実度インバージョンとより堅牢な編集性を実現する。
  論文  参考訳（メタデータ） (2023-02-27T14:49:53Z)
• LexLIP: Lexicon-Bottlenecked Language-Image Pre-Training for Large-Scale Image-Text Retrieval [71.01982683581572]
  従来の高密度検索パラダイムは、デュアルストリームエンコーダを用いて画像やテキストを高密度表現に符号化することに依存している。 本稿では,語彙空間における疎表現を画像やテキストに対して学習する語彙重み付けパラダイムを提案する。 重要度を意識した辞書表現を学習する新しい事前学習フレームワークを提案する。 我々のフレームワークは、検索速度5.5221.3倍、インデックス記憶メモリ13.248.8倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-02-06T16:24:41Z)
• Multi hash embeddings in spaCy [1.6790532021482656]
  spaCyは、単語の複数埋め込み表現を生成する機械学習システムである。 SpaCyのデフォルトの埋め込み層は、ハッシュ埋め込み層である。 この技術レポートでは、いくつかの歴史を概説し、paCyに埋め込み手法を詳しく紹介します。
  論文  参考訳（メタデータ） (2022-12-19T06:03:04Z)
• IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval [105.77562776008459]
  既存の手法は、注意機構を利用して、そのような対応をきめ細かな方法で探索する。 既存の手法でこのような高度な対応を最適に捉えるのは難しいかもしれない。 本稿では,複数段階のアライメントで対応を捉えるIMRAM法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T12:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。