論文の概要: VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models

• arxiv url: http://arxiv.org/abs/2508.15229v1
• Date: Thu, 21 Aug 2025 04:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.182323
• Title: VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models
• Title（参考訳）: VocabTailor: 小言語モデルにおける下流タスクの動的語彙選択
• Authors: Hanling Zhang, Yayu Zhou, Tongcheng Fang, Zhihang Yuan, Guohao Dai, Yu Wang,
• Abstract要約: 小言語モデル(SLM)は資源制約のある環境で計算上の利点を提供する。 SLMのメモリフットプリントのかなりの部分は語彙関連コンポーネントに由来する。 本稿では,新たに分離された動的語彙選択フレームワークであるVocabTailorを紹介する。
• 参考スコア（独自算出の注目度）: 8.007433594020975
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Small Language Models (SLMs) provide computational advantages in resource-constrained environments, yet memory limitations remain a critical bottleneck for edge device deployment. A substantial portion of SLMs' memory footprint stems from vocabulary-related components, particularly embeddings and language modeling (LM) heads, due to large vocabulary sizes. Existing static vocabulary pruning, while reducing memory usage, suffers from rigid, one-size-fits-all designs that cause information loss from the prefill stage and a lack of flexibility. In this work, we identify two key principles underlying the vocabulary reduction challenge: the lexical locality principle, the observation that only a small subset of tokens is required during any single inference, and the asymmetry in computational characteristics between vocabulary-related components of SLM. Based on these insights, we introduce VocabTailor, a novel decoupled dynamic vocabulary selection framework that addresses memory constraints through offloading embedding and implements a hybrid static-dynamic vocabulary selection strategy for LM Head, enabling on-demand loading of vocabulary components. Comprehensive experiments across diverse downstream tasks demonstrate that VocabTailor achieves a reduction of up to 99% in the memory usage of vocabulary-related components with minimal or no degradation in task performance, substantially outperforming existing static vocabulary pruning.
• Abstract（参考訳）: 小言語モデル(SLM)は、リソース制約のある環境で計算上の優位性を提供するが、メモリ制限はエッジデバイスのデプロイメントにおいて重要なボトルネックである。 SLMのメモリフットプリントのかなりの部分は、語彙に関連するコンポーネント、特に埋め込みと言語モデリング(LM)ヘッドに由来する。 既存の静的なボキャブラリプルーニングは、メモリ使用量を減らす一方で、プリフィルステージからの情報損失と柔軟性の欠如を引き起こす、厳密な一大デザインに悩まされている。 本研究では,語彙還元問題の根底にある2つの重要な原理として,語彙局所性原理,トークンの小さなサブセットのみを必要とするという観察,およびSLMの語彙関連成分間の計算特性の非対称性について述べる。 これらの知見に基づいて、我々は、新しい分離された動的語彙選択フレームワークであるVocabTailorを紹介し、埋め込みをオフロードすることでメモリ制約に対処し、LMヘッドの静的語彙選択戦略を実装し、語彙コンポーネントのオンデマンドロードを可能にする。 さまざまなダウンストリームタスクに対する総合的な実験により、VocabTailorは、タスクパフォーマンスの低下を最小限に抑え、既存の静的語彙プルーニングを大幅に上回る、語彙関連コンポーネントのメモリ使用量の最大99%の削減を実現している。

関連論文リスト

• From Open-Vocabulary to Vocabulary-Free Semantic Segmentation [78.62232202171919]
  オープン語彙セマンティックセグメンテーションにより、モデルはトレーニングデータ以外の新しいオブジェクトカテゴリを識別できる。 現在のアプローチは依然として入力として手動で指定されたクラス名に依存しており、現実世界のアプリケーションに固有のボトルネックを生み出している。 この研究は、定義済みのクラス語彙を必要としない、語彙自由セマンティックパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-17T15:17:08Z)
• Adapters for Altering LLM Vocabularies: What Languages Benefit the Most? [23.83290627671739]
  VocADTは、既存の埋め込みの最適線形結合を学ぶために訓練されたアダプタモジュールを用いた語彙適応の新しい手法である。 ラテン文字言語と高度に断片化された言語は語彙適応の恩恵を最も受ける。
  論文  参考訳（メタデータ） (2024-10-12T20:45:24Z)
• How Can We Effectively Expand the Vocabulary of LLMs with 0.01GB of Target Language Text? [38.1823640848362]
  大きな言語モデル(LLM)は、英語以外の多くの言語で顕著な能力を示している。 LLMは、英語中心のトークン化や語彙に依存するため、非英語のテキストを生成する際にさらに推論ステップを必要とする。 ターゲット言語トークンによる語彙拡張は、この問題を改善するために広く使われている言語間語彙適応手法である。
  論文  参考訳（メタデータ） (2024-06-17T12:42:34Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。