論文の概要: DimGrow: Memory-Efficient Field-level Embedding Dimension Search

• arxiv url: http://arxiv.org/abs/2505.12683v1
• Date: Mon, 19 May 2025 04:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.394401
• Title: DimGrow: Memory-Efficient Field-level Embedding Dimension Search
• Title（参考訳）: DimGrow: メモリ効率の良いフィールドレベルの埋め込み次元検索
• Authors: Yihong Huang, Chen Chu,
• Abstract要約: プルーニングやニューラルアーキテクチャサーチ(NAS)のような既存のアプローチでは、あらゆる可能な次元の組み合わせを列挙するメモリ集約スーパーネットをトレーニングする必要がある。 我々は、SuperNetの要求をなくす軽量なアプローチであるDimGrowを提案する。 3つのレコメンデーションデータセットの実験では、SuperNetベースの手法と比較してトレーニングメモリを削減しながら、DimGrowの有効性を検証する。
• 参考スコア（独自算出の注目度）: 3.033709555226447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key feature fields need bigger embedding dimensionality, others need smaller. This demands automated dimension allocation. Existing approaches, such as pruning or Neural Architecture Search (NAS), require training a memory-intensive SuperNet that enumerates all possible dimension combinations, which is infeasible for large feature spaces. We propose DimGrow, a lightweight approach that eliminates the SuperNet requirement. Starting training model from one dimension per feature field, DimGrow can progressively expand/shrink dimensions via importance scoring. Dimensions grow only when their importance consistently exceed a threshold, ensuring memory efficiency. Experiments on three recommendation datasets verify the effectiveness of DimGrow while it reduces training memory compared to SuperNet-based methods.
• Abstract（参考訳）: 主要な特徴体はより大きな埋め込み次元を必要とし、他のものはより小さくする必要がある。 これにより次元の自動割り当てが要求される。 プルーニングやニューラルアーキテクチャサーチ(NAS)のような既存のアプローチでは、大きな特徴空間では不可能なすべての可能な次元の組み合わせを列挙するメモリ集約スーパーネットをトレーニングする必要がある。 我々は、SuperNetの要求をなくす軽量なアプローチであるDimGrowを提案する。 機能フィールド当たりの1次元からトレーニングモデルを開始することで、DimGrowは重要なスコアリングを通じて、段階的に次元を拡大/縮小することができる。 メンメンジョンは、その重要性がしきい値を超え、メモリ効率を確実にするときにのみ成長する。 3つのレコメンデーションデータセットの実験では、SuperNetベースの手法と比較してトレーニングメモリを削減しながら、DimGrowの有効性を検証する。

関連論文リスト

• ROAM: memory-efficient large DNN training via optimized operator ordering and memory layout [8.99065455675796]
  本稿では,演算子順序とテンソルメモリレイアウトを最適化したメモリ効率の高い実行計画の導出のために,グラフレベルで動作するROAMを提案する。 実験の結果、ROAMはPytorchと2つの最先端手法と比較して35.7%、13.3%、27.2%の大幅なメモリ削減を実現し、53.7倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-10-30T06:29:21Z)
• Memory Gym: Towards Endless Tasks to Benchmark Memory Capabilities of Agents [4.371266695484245]
  Memory GymはMortar Mayhem、Mystery Path、Searing Spotlightsという2D部分的に観測可能な環境のスイートを提供する。 これらの環境は、もともと有限のタスクを持ち、革新的で無限のフォーマットに拡張され、"I pack my bag"のような累積記憶ゲームにおけるエスカレーションの課題を反映している。
  論文  参考訳（メタデータ） (2023-09-29T12:59:28Z)
• Vocabulary-level Memory Efficiency for Language Model Fine-tuning [36.1039389951318]
  微調整中,語彙のかなりの割合が未使用であることが判明した。 本稿では,メモリ使用量を最小限に抑えるため,この発見を利用したシンプルで効果的な手法を提案する。 我々の手法は、より効率的な計算資源の利用を可能にしながら、下流のタスク性能に影響を与えない。
  論文  参考訳（メタデータ） (2023-09-15T19:00:00Z)
• Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings [113.38884267189871]
  エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。 データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。 ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。 組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-13T10:53:00Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation [4.134876686331775]
  従来のU-Netアーキテクチャとメモリ保存技術を組み合わせることで、Brain Tumor(BraTS)チャレンジにおけるモデルの複雑さを高めることを提案する。 当社の3D U-Netは、モバイル反転ボトルネックブロックのリバーシブルバージョンを使用して、トレーニング中にアクティベーションメモリを節約します。 最大3倍の画像ボリューム、25%の深さを持つモデル、または対応する非可逆ネットワークよりも最大2倍のチャンネル数を持つモデルをトレーニングできます。
  論文  参考訳（メタデータ） (2021-04-19T21:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。