Fugu-MT 論文翻訳(概要): Single Model Ensemble using Pseudo-Tags and Distinct Vectors

論文の概要: Single Model Ensemble using Pseudo-Tags and Distinct Vectors

arxiv url: http://arxiv.org/abs/2005.00879v1
Date: Sat, 2 May 2020 16:23:47 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 11:48:27.206874
Title: Single Model Ensemble using Pseudo-Tags and Distinct Vectors
Title（参考訳）: 擬似タグと個別ベクトルを用いた単一モデルアンサンブル
Authors: Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama
Abstract要約: モデルアンサンブルの効果を1つのモデルで再現する手法を提案する。提案手法は,K-識別疑似タグとK-識別ベクトルを用いて,単一のパラメータ空間内でK-仮想モデルを生成する。いくつかのデータセットにおけるテキスト分類とシーケンスラベリングタスクの実験は、我々の手法が従来のモデルアンサンブルをエミュレートし、性能を1/K時間で低下させることを示した。
参考スコア（独自算出の注目度）: 41.199227903268245
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model ensemble techniques often increase task performance in neural networks; however, they require increased time, memory, and management effort. In this study, we propose a novel method that replicates the effects of a model ensemble with a single model. Our approach creates K-virtual models within a single parameter space using K-distinct pseudo-tags and K-distinct vectors. Experiments on text classification and sequence labeling tasks on several datasets demonstrate that our method emulates or outperforms a traditional model ensemble with 1/K-times fewer parameters.
Abstract（参考訳）: モデルアンサンブル技術は、しばしばニューラルネットワークのタスクパフォーマンスを向上させるが、時間、メモリ、管理の労力が増加する。本研究では,単一モデルを用いたモデルアンサンブルの効果を再現する新しい手法を提案する。提案手法では、k-distinct pseudo-tags と k-distinct vector を用いて単一のパラメータ空間内で k-virtual model を生成する。複数のデータセットにおけるテキスト分類とシーケンスラベリングタスクの実験は、従来のモデルアンサンブルを1/k時間よりも少ないパラメータでエミュレートしたり、上回ったりすることを示しています。

関連論文リスト

NegMerge: Consensual Weight Negation for Strong Machine Unlearning [21.081262106431506]
機械学習は、モデルから特定の知識を選択的に除去することを目的としている。現在の手法は、左折セットの微調整モデルに依存し、タスクベクトルを生成し、元のモデルからそれを減算する。 1つのモデルを選択するのではなく、与えられた細調整されたモデルをすべて活用する新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-08T00:50:54Z)
You Only Merge Once: Learning the Pareto Set of Preference-Aware Model Merging [11.186194228460273]
本稿では,各ベースモデルのタスク上でのマージモデルの性能を目的として扱う,嗜好意識のモデルマージを提案する。 1つのマージプロセスのみにおいて、提案したパラメータ効率構造は、マージされたモデルの集合全体を生成することができる。提案手法により, 多様なトレードオフモデルを得ることができ, ベースラインの整合性に優れることを示す。
論文参考訳（メタデータ） (2024-08-22T03:41:14Z)
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文参考訳（メタデータ） (2022-10-23T01:33:16Z)
Time Series Clustering with an EM algorithm for Mixtures of Linear Gaussian State Space Models [0.0]
線形ガウス状態空間モデルを混合したモデルに基づく時系列クラスタリング手法を提案する。提案手法では,混合モデルの予測最大化アルゴリズムを用いてモデルパラメータを推定する。シミュレーションデータセットの実験は、クラスタリング、パラメータ推定、モデル選択における手法の有効性を示す。
論文参考訳（メタデータ） (2022-08-25T07:41:23Z)
On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。本手法はトレーニング中のモデルの識別性を強制する。この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文参考訳（メタデータ） (2022-06-17T07:50:22Z)
Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文参考訳（メタデータ） (2022-01-08T00:47:50Z)
Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文参考訳（メタデータ） (2021-10-23T19:19:39Z)
Equivalence of Segmental and Neural Transducer Modeling: A Proof of Concept [56.46135010588918]
RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。空白確率はセグメント長確率に変換され,その逆も示された。
論文参考訳（メタデータ） (2021-04-13T11:20:48Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。