論文の概要: OrBIT: Structure-Guided Embedding Compression

• arxiv url: http://arxiv.org/abs/2610.10385v1
• Date: Wed, 07 Oct 2026 16:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.055616
• Title: OrBIT: Structure-Guided Embedding Compression
• Title（参考訳）: OrBIT: 構造ガイドによる埋め込み圧縮
• Abstract要約: 構造誘導型埋め込み圧縮フレームワークであるemphOrBITを紹介する。 軌道力学から再利用可能な局所幾何学を学習し、それを使って共有コードワードの小さなセットを制約する。 OrBITはGPT-2で37.9倍の圧縮を実現し、16ビットストレージと比較して7Bテーブルで23倍以上の圧縮を実現している。
• 参考スコア（独自算出の注目度）: 0.6588840794922409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding tables are among the largest components of modern language models. Most compression methods fix a coding geometry such as coordinate blocks, low-rank subspaces, or unrestricted codebooks, and optimize within it. We instead ask whether the coding geometry can itself be discovered. We introduce \emph{OrBIT}, a structure-guided embedding compression framework that learns reusable local geometry from orbit dynamics and uses it to constrain a small set of shared codewords. The global reconstruction residual then decides where the fixed coding budget is spent, while redundant overlapping charts let local errors compensate one another after gluing. Our theory shows how tight-chart geometry controls distortion, how the global residual directs sequential allocation, and how data-geometry-guided refinement improves the codec. The resulting orbit machinery is compiled away, leaving a compact decoder in which the learned structure governs what is stored, where capacity is allocated, and how local information is assembled globally. Across four LLM embedding tables, OrBIT achieves $37.9\times$ compression on GPT-2 and over $23\times$ on each 7B table relative to 16-bit storage, while delivering competitive rate-distortion performance against established quantization and low-rank baselines.
• Abstract（参考訳）: 埋め込みテーブルは現代の言語モデルの最大のコンポーネントの一つである。 ほとんどの圧縮手法は、座標ブロック、低ランクのサブスペース、制限なしのコードブックなどの符号化幾何学を修正し、その内部で最適化する。 代わりに、コーディング幾何学自体が発見できるかどうかを尋ねる。 本稿では,軌道力学から再利用可能な局所幾何学を学習し,共有するコードワードの小さなセットを制約する構造誘導型埋め込み圧縮フレームワークである \emph{OrBIT} を紹介する。 グローバルな再構築残余は、固定されたコーディング予算がどこに使われるかを決定し、冗長なオーバーラップチャートは、グルーミング後に局所的なエラーを補う。 我々の理論は、タイトチャート幾何が歪みをいかに制御するか、大域的残差が逐次アロケーションをどのように指示するか、そしてデータ幾何学誘導によるコーデックの改良方法を示す。 得られた軌道機械は分解され、学習された構造が格納されているもの、キャパシティが割り当てられる場所、グローバルにどのようにローカル情報が収集されるかを制御するコンパクトデコーダが残される。 4つのLDM埋め込みテーブルの中で、OrBITはGPT-2で37.9\times$圧縮を達成し、16ビットのストレージに対して7Bテーブルごとに23\times$を達成し、確立した量子化と低ランクのベースラインに対して競合レート歪み性能を提供する。

関連論文リスト

• Beyond Global Latents: Chunk-Based Sparse Grid VAE for Scalable 3D Modeling [30.640147037595572]
  ChunkVAEは、グローバルな潜在ボリュームではなく、局所的なチャンクを中心に構成されたスパースグリッド変分自動エンコーダである。 下流で必要なグローバルインターフェースを維持しながら,局所圧縮が幾何を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-03T10:15:30Z)
• BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression [30.978394138413623]
  BiSCo-LLMは、超低ビットLLM重み圧縮のためのコードブックフリーのバイナリ球面符号化フレームワークである。 報告されたストレージ予算にはバイナリコード、ニューラルデコーダ、プロテクトチャネルペイロード、LoRAアダプタ、メタデータが含まれる。
  論文  参考訳（メタデータ） (2026-07-09T16:17:10Z)
• Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure [55.17771962316751]
  現在の3Dトークンは、表現を空間圧縮として扱うが、コンポーネントの所有権とアタッチメントの妥当性は暗黙的に残す。 我々は、トークン化がパッシブ圧縮コードではなく操作状態を構成する、インターフェイス中心の生成状態という別の視点を定式化する。 我々は、この定式化を、C2LT-3D(Component-Conditioned Canonical Local Tokens)でインスタンス化し、表現を標準局所幾何学、パーティション条件付きコンテキスト、およびリレーショナルシーム変数に分解する。
  論文  参考訳（メタデータ） (2026-05-11T12:09:28Z)
• LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
  アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。 本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。 実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
  論文  参考訳（メタデータ） (2026-03-30T13:39:35Z)
• Global Low-Rank, Local Full-Rank: The Holographic Encoding of Learned Algorithms [0.0]
  グルーク付き解は、学習方向の空間では全世界的に低ランクであるが、パラメータ空間では局所的にフルランクであることを示す。 我々はこれをホログラフィック符号化原理と呼び、圧縮、解釈可能性、ニューラルネットワークのエンコード方法の理解に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-02-20T22:53:12Z)
• ELiC: Efficient LiDAR Geometry Compression via Cross-Bit-depth Feature Propagation and Bag-of-Encoders [6.993324496891383]
  LiDAR圧縮は、低ビット幅から高ビット幅までのボクセル占有率を符号化する。 ELiCは,クロスビット深度特徴伝搬,Bag-of-Encoders選択方式,Morton-order-reserving階層を組み合わせたリアルタイムフレームワークである。
  論文  参考訳（メタデータ） (2025-11-18T02:58:16Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。