論文の概要: DT-UFC: Universal Large Model Feature Coding via Peaky-to-Balanced Distribution Transformation

• arxiv url: http://arxiv.org/abs/2506.16495v1
• Date: Thu, 19 Jun 2025 17:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.196078
• Title: DT-UFC: Universal Large Model Feature Coding via Peaky-to-Balanced Distribution Transformation
• Title（参考訳）: DT-UFC:Peaky-to-Balanced分散変換による大容量モデル特徴符号化
• Authors: Changsheng Gao, Zijie Liu, Li Li, Dong Liu, Xiaoyan Sun, Weisi Lin,
• Abstract要約: 本稿では,大規模モデルの普遍的特徴符号化に関する最初の体系的研究について述べる。 主な課題は、異なるモデルから抽出された特徴の本質的に多様性があり、分布的に互換性のない性質にある。 本稿では,高度に歪んだ特徴分布を共通目標空間に再帰させる学習ピーク対均衡分布変換を提案する。
• 参考スコア（独自算出の注目度）: 43.46266352100794
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Like image coding in visual data transmission, feature coding is essential for the distributed deployment of large models by significantly reducing transmission and storage overhead. However, prior studies have mostly targeted task- or model-specific scenarios, leaving the challenge of universal feature coding across diverse large models largely unaddressed. In this paper, we present the first systematic study on universal feature coding for large models. The key challenge lies in the inherently diverse and distributionally incompatible nature of features extracted from different models. For example, features from DINOv2 exhibit highly peaky, concentrated distributions, while those from Stable Diffusion 3 (SD3) are more dispersed and uniform. This distributional heterogeneity severely hampers both compression efficiency and cross-model generalization. To address this, we propose a learned peaky-to-balanced distribution transformation, which reshapes highly skewed feature distributions into a common, balanced target space. This transformation is non-uniform, data-driven, and plug-and-play, enabling effective alignment of heterogeneous distributions without modifying downstream codecs. With this alignment, a universal codec trained on the balanced target distribution can effectively generalize to features from different models and tasks. We validate our approach on three representative large models-LLaMA3, DINOv2, and SD3-across multiple tasks and modalities. Extensive experiments show that our method achieves notable improvements in both compression efficiency and cross-model generalization over task-specific baselines. All source code will be released for future research.
• Abstract（参考訳）: 視覚データ伝送における画像符号化と同様に、大きなモデルの分散配置には機能符号化が不可欠である。 しかし、先行研究は主にタスクやモデル固有のシナリオをターゲットにしており、様々な大規模モデルにまたがる普遍的な特徴コーディングの課題は、ほとんど適応していない。 本稿では,大規模モデルの普遍的特徴符号化に関する最初の体系的研究について述べる。 重要な課題は、異なるモデルから抽出された機能の本質的に多様性があり、分散的に互換性のない性質にある。 例えば、DINOv2の特徴は高度で集中した分布を示し、安定拡散3(SD3)の特徴はより分散し均一である。 この分布の不均一性は圧縮効率とクロスモデル一般化の両方を著しく損なう。 そこで本研究では,高度に歪んだ特徴分布を共通目標空間に再帰させる学習ピーク対均衡分布変換を提案する。 この変換は、一様でない、データ駆動、プラグアンドプレイであり、下流コーデックを変更することなく、異種分布の効果的なアライメントを可能にする。 このアライメントにより、バランスの取れた目標分布に基づいて訓練された普遍コーデックは、異なるモデルやタスクの特徴に効果的に一般化することができる。 我々は,複数のタスクとモダリティにまたがる3つの代表的な大規模モデルであるLLaMA3,DINOv2,SD3を検証した。 本手法は,タスク固有のベースラインに対する圧縮効率とクロスモデル一般化の両方において,顕著な改善を達成できることを示す。 すべてのソースコードは将来の研究のためにリリースされます。

関連論文リスト

• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。 これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。 本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Selective Hourglass Mapping for Universal Image Restoration Based on Diffusion Model [36.57703763466984]
  そこで我々は拡散モデルDiffUIRに基づく高度な時間ガラスマッピング戦略を提案する。 5つの画像復元タスク、22のベンチマーク、ゼロショットの一般化設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-17T09:41:20Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.1929584800629673]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。