Fugu-MT 論文翻訳(概要): Meta-learning Extractors for Music Source Separation

論文の概要: Meta-learning Extractors for Music Source Separation

arxiv url: http://arxiv.org/abs/2002.07016v1
Date: Mon, 17 Feb 2020 16:00:03 GMT
ステータス: 処理完了
システム内更新日: 2022-12-31 13:15:11.663618
Title: Meta-learning Extractors for Music Source Separation
Title（参考訳）: 音源分離のためのメタ学習エクストラクタ
Authors: David Samuel, Aditya Ganeshan and Jason Naradowsky
Abstract要約: 音源分離のための階層的メタ学習モデルを提案する。ジェネレータモデルは、個々の抽出器モデルの重量を予測するために使用される。これにより、効率的なパラメータ共有が可能でありながら、機器固有のパラメータ化が可能である。
参考スコア（独自算出の注目度）: 11.821239800107529
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a hierarchical meta-learning-inspired model for music source separation (Meta-TasNet) in which a generator model is used to predict the weights of individual extractor models. This enables efficient parameter-sharing, while still allowing for instrument-specific parameterization. Meta-TasNet is shown to be more effective than the models trained independently or in a multi-task setting, and achieve performance comparable with state-of-the-art methods. In comparison to the latter, our extractors contain fewer parameters and have faster run-time performance. We discuss important architectural considerations, and explore the costs and benefits of this approach.
Abstract（参考訳）: 本稿では,音楽音源分離モデル(Meta-TasNet)の階層的メタ学習モデルを提案する。これにより効率的なパラメータ共有が可能となるが、機器固有のパラメータ化が可能となる。 meta-tasnetは、独立に訓練されたモデルやマルチタスク設定よりも効果的であることが示され、最先端のメソッドに匹敵するパフォーマンスを達成する。後者と比較して,抽出器はパラメータが少なく,実行時の性能が速い。我々は、重要なアーキテクチャ上の考慮事項を議論し、このアプローチのコストと利益について検討する。

関連論文リスト

Optimize Incompatible Parameters through Compatibility-aware Knowledge Integration [104.52015641099828]
既存の研究は、そのようなパラメータを除去したり、複数の異なる事前訓練されたモデルの出力をマージすることに長けている。本稿では,Deep AssessmentとDeep SplicingからなるCompatibility-Aware Knowledge Integration (CKI)を提案する。統合モデルは推論やさらなる微調整に直接使用することができる。
論文参考訳（メタデータ） (2025-01-10T01:42:43Z)
Non-Uniform Parameter-Wise Model Merging [17.989809995141044]
我々は新しいアプローチであるNon-uniformを導入する。賢いモデルマージ(英: wise Model Merging、NP Merge)は、各モデルのコントリビューションを学習することでモデルをマージする手法である。勾配ベースの最適化を使った最終モデルへのパラメータ。提案手法の有効性を実証的に実証し, 過去の手法よりも優れていた各種アーキテクチャのモデルを複数設定でマージする手法の有効性を実証した。
論文参考訳（メタデータ） (2024-12-20T00:05:14Z)
Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-02T22:35:03Z)
EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文参考訳（メタデータ） (2024-05-23T05:25:45Z)
A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd Counting [3.5066463427087777]
クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
論文参考訳（メタデータ） (2024-01-11T15:13:31Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
論文参考訳（メタデータ） (2023-10-07T08:55:54Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文参考訳（メタデータ） (2023-02-19T14:08:01Z)
Meta-Ensemble Parameter Learning [35.6391802164328]
本稿では,メタラーニング手法を用いて,単一モデルのパラメータを直接予測できるかどうかを考察する。 WeightFormerは、トランスフォーマーベースのモデルで、フォワードパスの層で生徒のネットワーク重みを予測できる。
論文参考訳（メタデータ） (2022-10-05T00:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。