論文の概要: Linear-Time Non-Local Codec Placement for Machine Learning Model Compression
- arxiv url: http://arxiv.org/abs/2610.14703v1
- Date: Sat, 10 Oct 2026 08:20:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:08:57.437908
- Title: Linear-Time Non-Local Codec Placement for Machine Learning Model Compression
- Title(参考訳): 機械学習モデル圧縮のための線形時間非局所コーデック配置
- Abstract要約: 演算子をソース計算グラフに配置して,対象ハードウェアと互換性を持たせるアルゴリズムを提案する。
グラフのエッジは、各誘導されたサブグラフが弱結合され、双方がすべてのサブグラフ入力と全てのサブグラフ出力をポストドミネートする最大ノードを持つように色付けされる。
- 参考スコア(独自算出の注目度): 1.827510863075184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-device inference imposes constraints on model storage and operand traffic and thus benefits from compressed operand representations, which mandate the use of encoding and decoding operators. However, naïve placement of codec operators can cancel the operand traffic gains sought from compression. In this work, I present an algorithm to place codec operators into a source computational graph to make it compatible with target hardware. The edges of the graph are colored so that each induced subgraph is weakly connected and has a maximal node that both postdominates all subgraph inputs and dominates all subgraph outputs; this unique node - dubbed the $\textit{absolute dominator}$ - is the natural location to observe the traffic flowing through the subgraph and learn parametric codec operators. The algorithm's time complexity is linear in the source graph's size. With respect to naïve local codec placement, the algorithm reduces modeled operand traffic by $24\%$-$44\%$ across four models, including $24\%$ on SigLIP and $34\%$ on SmolLM2.
- Abstract(参考訳): オンデバイス推論は、モデルストレージとオペランドトラフィックに制約を課し、圧縮されたオペランド表現の恩恵を受ける。
しかし、コーデック演算子のネーブ配置は、圧縮から求めるオペランドトラフィックゲインをキャンセルすることができる。
本稿では,コーデック演算子をソース計算グラフに配置し,対象ハードウェアと互換性を持たせるアルゴリズムを提案する。
グラフのエッジは、各サブグラフが弱結合され、すべてのサブグラフ入力を後述し、すべてのサブグラフ出力を支配できる最大ノードを持つように色付けされる。
アルゴリズムの時間複雑性は、ソースグラフのサイズにおいて線形である。
局所的なコーデック配置に関しては、SigLIPでは24.5%、SmolLM2では34.%という4つのモデルで、モデル化されたオペランドトラフィックを24.%=-44.%で削減する。
関連論文リスト
- Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning [55.43705665875779]
RAGPは、多重グラフ上の冗長性を考慮したグラフプルーニングとして、即時圧縮を定式化する。
LongBenchの実験では、RAGPは平均スコア49.3を4倍の圧縮比で達成している。
論文 参考訳(メタデータ) (2026-05-04T01:41:31Z) - Fast and accurate AI-based pre-decoders for surface codes [0.0]
我々は、低デコードランタイムで局所的並列エラー補正を行う、表面コードのためのスケーラブルなAIベースのプリデコーダを導入する。
このアーキテクチャはバックエンドに依存しず、サーフェスコード用に設計された任意のグローバルデコーディングアルゴリズムで構成される。
非相関なPyMatchingと統合されたパイプラインは、大きなコード距離で1ラウンドあたり$mathcalO(1テキスト)$のエンドツーエンドのデコードランタイムを達成する。
論文 参考訳(メタデータ) (2026-04-14T15:01:05Z) - Lightweight and Interpretable Transformer via Mixed Graph Algorithm Unrolling for Traffic Forecast [28.36772736512295]
我々は、混合グラフに基づく最適化アルゴリズムをアンロールすることで、軽量で解釈可能なトランスフォーマーのようなニューラルネットを構築する。
グラフ学習モジュールを$mathcalGu$と$mathcalGd$に挿入します。
実験により,我々の未登録ネットワークは,最先端の予測スキームとして,競争力のあるトラフィック予測性能を達成することが示された。
論文 参考訳(メタデータ) (2025-05-19T13:32:34Z) - Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder [20.544993155126967]
ピーク対平均電力比(mathsfPAPR$)削減と波形設計のための新しい枠組みを提案する。
畳み込みオートコーダ(mathsfCAE$)アーキテクチャが提示される。
1つのトレーニングされたモデルが、幅広いSNRレベルにわたって、$mathsfPAPR$の削減、スペクトル設計、および$mathsfMIMO$の検出のタスクをカバーしていることを示す。
論文 参考訳(メタデータ) (2023-01-11T11:35:10Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-01-30T20:12:04Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳(メタデータ) (2021-08-19T07:03:22Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳(メタデータ) (2021-05-04T04:10:48Z) - AEGCN: An Autoencoder-Constrained Graph Convolutional Network [5.023274927781062]
本稿では,オートエンコーダ制約付きグラフ畳み込みネットワークと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
このモデルのコアはグラフ上で直接動作する畳み込みネットワークであり、隠れた層はオートエンコーダによって制約される。
オートエンコーダの制約を追加することで,グラフ畳み込みネットワークの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-07-03T16:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。