Fugu-MT 論文翻訳(概要): Training Noise Token Pruning

論文の概要: Training Noise Token Pruning

arxiv url: http://arxiv.org/abs/2411.18092v1
Date: Wed, 27 Nov 2024 07:04:00 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:26:43.891716
Title: Training Noise Token Pruning
Title（参考訳）: トケニングの練習
Authors: Mingxing Rao, Bohan Jiang, Daniel Moyer,
Abstract要約: 視覚変換器のためのトレーニングノイズトケイング(TNT)について述べる。本手法は離散トークン投下条件を連続付加雑音に緩和する。我々は、レーティング・ディストーションの文献と理論的に関係し、ImageNetデータセット上で実証的な評価を行う。
参考スコア（独自算出の注目度）: 2.3267858167388775
License:
Abstract: In the present work we present Training Noise Token (TNT) Pruning for vision transformers. Our method relaxes the discrete token dropping condition to continuous additive noise, providing smooth optimization in training, while retaining discrete dropping computational gains in deployment settings. We provide theoretical connections to Rate-Distortion literature, and empirical evaluations on the ImageNet dataset using ViT and DeiT architectures demonstrating TNT's advantages over previous pruning methods.
Abstract（参考訳）: 本研究は,視覚変換器用トレーニングノイズトケイング(TNT)について述べる。提案手法は, 離散的なトークン降下条件を連続的な付加雑音に緩和し, トレーニングにおけるスムーズな最適化を実現するとともに, 配置設定における離散的な減少計算ゲインを維持する。我々は、レート・ディストーションの文献と理論的に結びつき、ViTおよびDeiTアーキテクチャを用いたImageNetデータセットの実証的な評価を行い、従来のプルーニング法よりもTNTの利点を実証した。

関連論文リスト

Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation [8.683798989767771]
最近の知見は、ディープスパイキングニューラルネットワーク(SNN)のトレーニングにおいて、レートコーディングが代理段階に基づくバックプロパゲーション・アット・タイム(BPTT)によって取得される情報表現の第一形態であることを明らかにしている。本稿では、BPTTの複雑さを軽減するために、レートベースの表現を活用するために特別に設計されたトレーニング戦略である、レートベースのバックプロパゲーションを提案する。提案手法は,SNNの学習におけるメモリと計算要求を減らすために,計算グラフの合理化を図り,平均的ダイナミクスに焦点をあてることで,詳細な時間微分への依存を最小限に抑える。
論文参考訳（メタデータ） (2024-10-15T10:46:03Z)
Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2023-09-29T06:18:15Z)
Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文参考訳（メタデータ） (2023-05-17T13:56:48Z)
Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文参考訳（メタデータ） (2023-02-19T15:24:37Z)
TT-NF: Tensor Train Neural Fields [88.49847274083365]
そこで本研究では,Train Neural Fields (TT-NF) と呼ばれる新しい低ランク表現を導入した。ダウンストリームタスク品質指標に対する低ランク圧縮の影響を解析する。
論文参考訳（メタデータ） (2022-09-30T15:17:39Z)
Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文参考訳（メタデータ） (2022-03-29T13:07:53Z)
CDLNet: Noise-Adaptive Convolutional Dictionary Learning Network for Blind Denoising and Demosaicing [4.975707665155918]
アンロール最適化ネットワークは、ディープニューラルネットワークを構築するための解釈可能な代替手段を提供する。本稿では,非学習型畳み込み辞書学習ネットワーク(CDLNet)を提案する。具体的には,提案モデルが類似パラメータ数にスケールした場合に,完全畳み込みモデルやJDDモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2021-12-02T01:23:21Z)
Self-Supervised Fast Adaptation for Denoising via Meta-Learning [28.057705167363327]
本稿では,最先端の教師付き復調手法を大幅に上回る新しい復調手法を提案する。提案手法は, パラメータを追加することなく, 最先端の復調ネットワークに容易に適用可能であることを示す。
論文参考訳（メタデータ） (2020-01-09T09:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。