論文の概要: GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression

• arxiv url: http://arxiv.org/abs/2405.01170v1
• Date: Thu, 2 May 2024 10:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 16:54:18.394503
• Title: GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression
• Title（参考訳）: GroupedMixer:学習画像圧縮のためのグループワイドToken-Mixerを用いたエントロピーモデル
• Authors: Daxin Li, Yuanchao Bai, Kai Wang, Junjun Jiang, Xianming Liu, Wen Gao,
• Abstract要約: 本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。 GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
• 参考スコア（独自算出の注目度）: 64.47244912937204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based entropy models have gained prominence in recent years due to their superior ability to capture long-range dependencies in probability distribution estimation compared to convolution-based methods. However, previous transformer-based entropy models suffer from a sluggish coding process due to pixel-wise autoregression or duplicated computation during inference. In this paper, we propose a novel transformer-based entropy model called GroupedMixer, which enjoys both faster coding speed and better compression performance than previous transformer-based methods. Specifically, our approach builds upon group-wise autoregression by first partitioning the latent variables into groups along spatial-channel dimensions, and then entropy coding the groups with the proposed transformer-based entropy model. The global causal self-attention is decomposed into more efficient group-wise interactions, implemented using inner-group and cross-group token-mixers. The inner-group token-mixer incorporates contextual elements within a group while the cross-group token-mixer interacts with previously decoded groups. Alternate arrangement of two token-mixers enables global contextual reference. To further expedite the network inference, we introduce context cache optimization to GroupedMixer, which caches attention activation values in cross-group token-mixers and avoids complex and duplicated computation. Experimental results demonstrate that the proposed GroupedMixer yields the state-of-the-art rate-distortion performance with fast compression speed.
• Abstract（参考訳）: 近年,変圧器を用いたエントロピーモデルは,畳み込みに基づく手法と比較して,確率分布推定における長距離依存性を捉える能力に優れており,注目されている。 しかし、以前のトランスフォーマーベースのエントロピーモデルは、推論中にピクセルワイドの自己回帰や重複計算によって、ゆるやかな符号化プロセスに悩まされる。 本稿では,従来の変圧器方式よりも高速な符号化速度と圧縮性能を両立させる,GroupedMixerと呼ばれる新しい変圧器型エントロピーモデルを提案する。 具体的には、まず潜伏変数を空間チャネル次元に沿って群に分割し、次にトランスフォーマーに基づくエントロピーモデルを用いて群をエントロピー符号化することにより、群ワイド自己回帰の上に構築する。 グローバル因果自己注意はより効率的なグループワイド相互作用に分解され、内部グループとクロスグループトークン-ミキサーを用いて実装される。 内部グループトークン-ミキサはグループ内にコンテキスト要素を組み込む一方、クロスグループトークン-ミキサは以前デコードされたグループと相互作用する。 2つのトークンミキサーの交互配置は、グローバルなコンテキスト参照を可能にする。 ネットワークの推論をさらに高速化するため,GroupedMixerにコンテキストキャッシュの最適化を導入し,グループ間トークン-ミキサーのアテンションアクティベーション値をキャッシュし,複雑で重複した計算を回避する。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。

関連論文リスト

• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Adversarial AutoMixup [50.1874436169571]
  本稿では,AdAutomixupを提案する。 画像分類のための堅牢な分類器を訓練するために、挑戦的なサンプルを生成する。 本手法は, 様々な分類シナリオにおいて, 技術状況に優れる。
  論文  参考訳（メタデータ） (2023-12-19T08:55:00Z)
• Advancing Vision Transformers with Group-Mix Attention [59.585623293856735]
  グループミクス・アテンション(GMA)は、従来の自己アテンションの先進的な代替品である。 GMAは、さまざまなグループサイズとトークン・ツー・トークン・ツー・グループ、グループ・ツー・グループ相関を同時に取得する。 GroupMixFormerは、画像分類、オブジェクト検出、セマンティックセグメンテーションにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-26T01:25:03Z)
• Sparse-group boosting -- Unbiased group and variable selection [0.0]
  群内空間と群間空間は混合パラメータによって制御可能であることを示す。 シミュレーション,遺伝子データおよび農業データを用いて,この推定装置の有効性と予測的競争性を示す。
  論文  参考訳（メタデータ） (2022-06-13T17:44:16Z)
• k-Mixup Regularization for Deep Learning via Optimal Transport [32.951696405505686]
  Mixupは、ディープニューラルネットワークをトレーニングするための一般的な正規化テクニックである。 emph$k$-mixupは、他の$k$-batchesの方向に、トレーニングポイントの$k$-batchesを摂動させる。 我々は、$k$-mixupによるトレーニングにより、複数のネットワークアーキテクチャにおける一般化と堅牢性がさらに向上することを示す。
  論文  参考訳（メタデータ） (2021-06-05T17:08:08Z)
• Suppressing Mislabeled Data via Grouping and Self-Attention [60.14212694011875]
  ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。 本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。 クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
  論文  参考訳（メタデータ） (2020-10-29T13:54:16Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• Learning Mixtures of Permutations: Groups of Pairwise Comparisons and Combinatorial Method of Moments [8.691957530860675]
  Mallows混合モデルについて検討した。 高次元設定では、$n$要素上の置換のMallows混合を学習する最適時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T23:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。