Fugu-MT 論文翻訳(概要): Linear Diffusion Networks

論文の概要: Linear Diffusion Networks

arxiv url: http://arxiv.org/abs/2502.12381v4
Date: Tue, 25 Mar 2025 18:52:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-27 14:57:01.260593
Title: Linear Diffusion Networks
Title（参考訳）: 線形拡散ネットワーク
Authors: Jacob Fein-Ashley,
Abstract要約: 本稿では、逐次データ処理を統一拡散プロセスとして再解釈する新しいアーキテクチャであるLinear Diffusion Networks(LDNs)を提案する。本モデルでは,適応拡散モジュールと局所的な非線形更新と拡散に着想を得た注意機構を統合した。ベンチマークシーケンスモデリングタスクの実験は、LDNがImageNetとLRAタスク間で競合するパフォーマンスを提供することを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present Linear Diffusion Networks (LDNs), a novel architecture that reinterprets sequential data processing as a unified diffusion process. Our model integrates adaptive diffusion modules with localized nonlinear updates and a diffusion-inspired attention mechanism. This design enables efficient global information propagation while preserving fine-grained temporal details. LDN overcomes the limitations of conventional recurrent and transformer models by allowing full parallelization across time steps and supporting robust multi-scale temporal representations. Experiments on benchmark sequence modeling tasks demonstrate that LDN delivers competitive performance across ImageNet and LRA tasks.
Abstract（参考訳）: 本稿では、逐次データ処理を統一拡散プロセスとして再解釈する新しいアーキテクチャであるLinear Diffusion Networks(LDNs)を提案する。本モデルは適応拡散モジュールと,局所的な非線形更新と拡散に着想を得たアテンション機構を統合したモデルである。この設計は、微細な時間的詳細を保存しながら、効率的なグローバル情報伝達を可能にする。 LDNは、時間ステップをまたいで完全な並列化を可能にし、堅牢なマルチスケール時間表現をサポートすることで、従来のリカレントおよびトランスフォーマーモデルの限界を克服する。ベンチマークシーケンスモデリングタスクの実験は、LDNがImageNetとLRAタスク間で競合するパフォーマンスを提供することを示した。

関連論文リスト

Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
論文参考訳（メタデータ） (2024-11-26T03:06:39Z)
Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
論文参考訳（メタデータ） (2024-09-29T07:14:16Z)
Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
論文参考訳（メタデータ） (2024-09-26T07:24:09Z)
Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する既存の二項化法では性能が著しく低下する。画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
論文参考訳（メタデータ） (2024-06-09T10:30:25Z)
Communication-Efficient Distributed Deep Learning via Federated Dynamic Averaging [1.4748100900619232]
Federated Dynamic Averaging (FDA)は通信効率の良いDDL戦略である。 FDAは従来のアルゴリズムと最先端のアルゴリズムと比較して、通信コストを桁違いに削減している。
論文参考訳（メタデータ） (2024-05-31T16:34:11Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-14T17:48:09Z)
Diffusion Models Without Attention [110.5623058129782]
Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
論文参考訳（メタデータ） (2023-11-30T05:15:35Z)
Denoising Task Routing for Diffusion Models [19.373733104929325]
拡散モデルは、多段階の復調過程を学習することにより、非常にリアルな画像を生成する。拡散モデルとマルチタスク学習(MTL)の間に固有のつながりがあるにもかかわらず、ニューラルネットワークの設計には未解明領域が残っている。本稿では,既存の拡散モデルアーキテクチャのためのシンプルなアドオン戦略であるDenoising Task Routing(DTR)について述べる。
論文参考訳（メタデータ） (2023-10-11T02:23:18Z)
Bayesian Flow Networks [4.197165999892042]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文参考訳（メタデータ） (2023-08-14T09:56:35Z)
Multi-Flow Transmission in Wireless Interference Networks: A Convergent Graph Learning Approach [9.852567834643292]
ネットワークデータ信号の2段階干渉対応マルチフロー最適化(DIAMOND)という新しいアルゴリズムを提案する。集中型ステージは、グラフニューラルネットワーク(GNN)強化学習(RL)ルーティングエージェントの新しい設計を用いて、マルチフロー伝送戦略を計算する。そして、分散学習更新の新しい設計に基づいて、分散ステージにより性能が向上する。
論文参考訳（メタデータ） (2023-03-27T18:49:47Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
論文参考訳（メタデータ） (2022-12-20T13:36:25Z)
Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文参考訳（メタデータ） (2021-01-12T20:08:18Z)
HPSGD: Hierarchical Parallel SGD With Stale Gradients Featuring [18.8426865970643]
ディープニューラルネットワーク(DNN)の分散トレーニングプロセスを促進するために,新しい階層型並列SGD(HPSGD)戦略を提案する。提案手法が分散DNNトレーニングを大幅に促進し, 定常勾配の乱れを低減し, 固定壁面の精度を向上することを示す実験を行った。
論文参考訳（メタデータ） (2020-09-06T10:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。