論文の概要: Latent Iterative Refinement for Modular Source Separation

• arxiv url: http://arxiv.org/abs/2211.11917v1
• Date: Tue, 22 Nov 2022 00:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 19:30:20.515035
• Title: Latent Iterative Refinement for Modular Source Separation
• Title（参考訳）: モジュール音源分離のための潜時反復リファインメント
• Authors: Dimitrios Bralios, Efthymios Tzinis, Gordon Wichern, Paris Smaragdis, Jonathan Le Roux
• Abstract要約: 従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
• 参考スコア（独自算出の注目度）: 53.45040845481725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional source separation approaches train deep neural network models end-to-end with all the data available at once by minimizing the empirical risk on the whole training set. On the inference side, after training the model, the user fetches a static computation graph and runs the full model on some specified observed mixture signal to get the estimated source signals. Additionally, many of those models consist of several basic processing blocks which are applied sequentially. We argue that we can significantly increase resource efficiency during both training and inference stages by reformulating a model's training and inference procedures as iterative mappings of latent signal representations. First, we can apply the same processing block more than once on its output to refine the input signal and consequently improve parameter efficiency. During training, we can follow a block-wise procedure which enables a reduction on memory requirements. Thus, one can train a very complicated network structure using significantly less computation compared to end-to-end training. During inference, we can dynamically adjust how many processing blocks and iterations of a specific block an input signal needs using a gating module.
• Abstract（参考訳）: 従来のソース分離アプローチでは、トレーニングセット全体の経験的リスクを最小限にすることで、すべてのデータをエンドツーエンドでトレーニングする。 推論側では、モデルをトレーニングした後、静的な計算グラフを取得し、特定された混合信号上でフルモデルを実行し、推定されたソース信号を取得する。 さらに、これらのモデルの多くは、連続的に適用されるいくつかの基本的な処理ブロックで構成されている。 我々は、モデルのトレーニングと推論手順を潜在信号表現の反復的マッピングとして再構成することで、トレーニングと推論の段階でのリソース効率を著しく向上できると主張する。 まず、出力に1回以上同じ処理ブロックを適用することで、入力信号を洗練し、パラメータ効率を向上させる。 トレーニング中は、メモリ要求の削減を可能にするブロックワイズ手順に従うことができる。 したがって、エンドツーエンドのトレーニングに比べて計算量が大幅に少ないため、非常に複雑なネットワーク構造をトレーニングすることができる。 推論中は、ゲーティングモジュールを用いて、入力信号が必要とする特定のブロックの処理ブロックと繰り返し数を動的に調整できる。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Block-local learning with probabilistic latent representations [2.839567756494814]
  ロックとウェイトトランスポートは、トレーニングプロセスの効率的な並列化と水平スケーリングを防止するためである。 本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。 各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
  論文  参考訳（メタデータ） (2023-05-24T10:11:30Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO [13.856867175477042]
  広帯域多重出力(MIMO)システムでは、ダウンリンクチャネル状態情報(CSI)をベースステーション(BS)に送信する必要がある。 本稿では,深層平衡モデルを用いた軽量で柔軟な深層学習に基づくCSIフィードバック手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T05:53:09Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning [14.642266310020505]
  本稿では、部分的に観測可能なマルコフ決定問題を解くために、新しい逐次モデル学習アーキテクチャを提案する。 提案アーキテクチャは,各データブロックに複数のタイムステップを持つ潜時変数を生成し,最も関連性の高い情報を次のブロックに渡してポリシー最適化を行う。 数値計算の結果,提案手法は様々な部分観測可能な環境において,従来の手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-10T05:38:24Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。