論文の概要: Single Model Ensemble using Pseudo-Tags and Distinct Vectors
- arxiv url: http://arxiv.org/abs/2005.00879v1
- Date: Sat, 2 May 2020 16:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 11:48:27.206874
- Title: Single Model Ensemble using Pseudo-Tags and Distinct Vectors
- Title(参考訳): 擬似タグと個別ベクトルを用いた単一モデルアンサンブル
- Authors: Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama
- Abstract要約: モデルアンサンブルの効果を1つのモデルで再現する手法を提案する。
提案手法は,K-識別疑似タグとK-識別ベクトルを用いて,単一のパラメータ空間内でK-仮想モデルを生成する。
いくつかのデータセットにおけるテキスト分類とシーケンスラベリングタスクの実験は、我々の手法が従来のモデルアンサンブルをエミュレートし、性能を1/K時間で低下させることを示した。
- 参考スコア(独自算出の注目度): 41.199227903268245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model ensemble techniques often increase task performance in neural networks;
however, they require increased time, memory, and management effort. In this
study, we propose a novel method that replicates the effects of a model
ensemble with a single model. Our approach creates K-virtual models within a
single parameter space using K-distinct pseudo-tags and K-distinct vectors.
Experiments on text classification and sequence labeling tasks on several
datasets demonstrate that our method emulates or outperforms a traditional
model ensemble with 1/K-times fewer parameters.
- Abstract(参考訳): モデルアンサンブル技術は、しばしばニューラルネットワークのタスクパフォーマンスを向上させるが、時間、メモリ、管理の労力が増加する。
本研究では,単一モデルを用いたモデルアンサンブルの効果を再現する新しい手法を提案する。
提案手法では、k-distinct pseudo-tags と k-distinct vector を用いて単一のパラメータ空間内で k-virtual model を生成する。
複数のデータセットにおけるテキスト分類とシーケンスラベリングタスクの実験は、従来のモデルアンサンブルを1/k時間よりも少ないパラメータでエミュレートしたり、上回ったりすることを示しています。
関連論文リスト
- Aggregation Model Hyperparameters Matter in Digital Pathology [1.8124328823188354]
デジタル病理学は、ギガピクセル全スライディング画像(WSI)の解析を通じて、疾患検出と病理学の効率を著しく向上させた
表現学習の急速な進化に伴い、多くの新しい特徴抽出モデルが登場した。
従来の評価手法は、結果にバイアスを与える可能性のあるフレームワークである、固定集約モデルハイパーパラメータに依存しています。
論文 参考訳(メタデータ) (2023-11-29T16:54:25Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳(メタデータ) (2022-10-23T01:33:16Z) - Time Series Clustering with an EM algorithm for Mixtures of Linear
Gaussian State Space Models [0.0]
線形ガウス状態空間モデルを混合したモデルに基づく時系列クラスタリング手法を提案する。
提案手法では,混合モデルの予測最大化アルゴリズムを用いてモデルパラメータを推定する。
シミュレーションデータセットの実験は、クラスタリング、パラメータ推定、モデル選択における手法の有効性を示す。
論文 参考訳(メタデータ) (2022-08-25T07:41:23Z) - K-ARMA Models for Clustering Time Series Data [4.345882429229813]
K-Meansアルゴリズムのモデルベース一般化を用いた時系列データのクラスタリング手法を提案する。
クラスタリングアルゴリズムは,不確実な偏差基準を用いて,アウトレーヤに対して頑健にすることができることを示す。
我々は,時系列クラスタリングタスクにおいて,本手法が既存の手法と競合することを示す実データ実験を行った。
論文 参考訳(メタデータ) (2022-06-30T18:16:11Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。
以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文 参考訳(メタデータ) (2021-10-23T19:19:39Z) - Equivalence of Segmental and Neural Transducer Modeling: A Proof of
Concept [56.46135010588918]
RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。
空白確率はセグメント長確率に変換され,その逆も示された。
論文 参考訳(メタデータ) (2021-04-13T11:20:48Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳(メタデータ) (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。