論文の概要: Dynamic Semantic Compression for Efficient Latent-Space Inference in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.15338v1
- Date: Mon, 14 Sep 2026 10:24:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.262554
- Title: Dynamic Semantic Compression for Efficient Latent-Space Inference in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける効率的な潜在空間推論のための動的意味圧縮
- Abstract要約: 大規模言語モデル(LLM)は主にトークンレベルで推論を行い、結果としてメモリオーバーヘッドが大きくなり、計算効率が損なわれる。
本稿では,2段階のトレーニング戦略により,潜在空間内のセグメントレベルの推論を実現する動的意味抽出と推論フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.004177856497085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) primarily perform inference at the token level, resulting in substantial memory overhead and compromised computational efficiency. In this paper, we propose a Dynamic Semantic Extraction and Inference (DSEI) framework, which achieves segment-level inference within the latent space through a two-stage training strategy. First, we construct a Dynamic Semantic Autoencoder (DSAE) via self-supervised learning. DSAE dynamically extracts segment-level semantics and compresses them into compact latent representations via adaptive semantic weighting and gated fusion. Subsequently, we integrate the DSAE into the LLM architecture and train the model to infer over dense latent space. DSEI substantially reduces both input and generation sequences and significantly enhances inference efficiency. Extensive experiments conducted on the Wanjuan dataset demonstrate that DSEI reduces perplexity by 48% compared to static sentence-level latent inference baseline. Furthermore, compared to standard LLMs using token-level inference, DSEI accelerates inference speed by 2.5$\times$ and reduces memory overhead by 90%.
- Abstract（参考訳）: 大規模言語モデル(LLM)は主にトークンレベルで推論を行い、結果としてメモリオーバーヘッドが大きくなり、計算効率が損なわれる。
本稿では,2段階のトレーニング戦略により,潜在空間内のセグメントレベルの推論を実現する動的意味抽出・推論(DSEI)フレームワークを提案する。
まず,自己教師型学習による動的セマンティック・オートエンコーダ(DSAE)を構築する。
DSAEはセグメントレベルの意味論を動的に抽出し、適応的意味重み付けとゲート融合によりコンパクトな潜在表現に圧縮する。
その後、DSAEをLLMアーキテクチャに統合し、高密度潜在空間を推論するようにモデルを訓練する。
DSEIは入力シーケンスと生成シーケンスの両方を大幅に削減し、推論効率を大幅に向上させる。
Wanjuanデータセットで実施された大規模な実験により、DSEIは静的な文レベルの潜在推論ベースラインに比べて、難易度を48%削減することが示された。
さらに、トークンレベルの推論を用いた標準的なLLMと比較して、DSEIは推論速度を2.5$\times$で加速し、メモリオーバーヘッドを90%削減する。
関連論文リスト
- Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。
GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
論文 参考訳（メタデータ） (2026-07-23T13:13:04Z) - Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs [58.719964942364356]
Lychee-FDは、ネイティブのエンドツーエンドフル・ツー・エンドのSLMフレームワークである。
Lychee-FDは、相互モダリティコヒーレンスを維持しながら、モダリティと矛盾する。
我々の手法は、その技術の現状を著しく保っている。
論文 参考訳（メタデータ） (2026-07-07T17:43:36Z) - Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs [17.167595029948576]
学習パラダイムが音声エンコーダとLLM間のエントロピー削減をどのように割り当てるかを特徴付けるための3つの指標を提案する。
本稿では,パラメータ効率とロバストネス幻覚を最適化した,能力境界認識に基づく多段階学習戦略を提案する。
マンダリンと英語のベンチマーク実験により,2.3Bパラメータのみを用いた最先端モデルとの競合性能が得られた。
論文 参考訳（メタデータ） (2026-04-09T09:07:52Z) - MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。
彼らは列車の干渉ミスマッチに悩まされている。
本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:39:56Z) - SLIM-Brain: A Data- and Training-Efficient Foundation Model for fMRI Data Analysis [16.923310176195766]
基礎モデルはfMRI分析の強力なパラダイムとして浮上している。
現在のアプローチでは、データとトレーニング効率の2つのボトルネックに直面しています。
SLIM-Brainは、データとトレーニング効率の両方を同時に改善する新しいアトラスフリー基盤モデルである。
論文 参考訳（メタデータ） (2025-12-26T06:10:31Z) - Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
自己教師付き学習(SSL)における直感的な現象を観察する。
我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。
本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
論文 参考訳（メタデータ） (2025-10-20T08:40:16Z) - Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。
DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。
DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
論文 参考訳（メタデータ） (2025-08-01T17:56:07Z) - Saliency-driven Dynamic Token Pruning for Large Language Models [32.903622070917194]
塩分駆動型動的トケンプルーニング(SDTP)
軽量なサリエンシ駆動予測モジュールは、各トークンの重要度をその隠れ状態で推定するように設計されている。
ランキングに基づく最適化手法を提案し,評価スコアと予測重要スコアのランキングばらつきを最小化する。
論文 参考訳（メタデータ） (2025-04-06T15:15:07Z) - Efficient Redundancy Reduction for Open-Vocabulary Semantic Segmentation [36.46163240168576]
Open-vocabulary semantic segmentation (OVSS)は、任意のテキスト記述によって定義された特定のクラスに画像内の各ピクセルを割り当てることを目的としたオープンワールドタスクである。
大規模視覚言語モデルの最近の進歩は、そのオープン語彙理解能力を示している。
本研究では, 冗長性を効果的に低減し, 精度と効率のバランスをとる新しいフレームワークであるERR-Segを紹介する。
論文 参考訳（メタデータ） (2025-01-29T13:24:53Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳（メタデータ） (2023-10-28T04:07:58Z) - Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of
Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。
次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。
最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文 参考訳（メタデータ） (2022-06-21T17:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。