Fugu-MT 論文翻訳(概要): Implementing the ICE Estimator in Multilayer Perceptron Classifiers

論文の概要: Implementing the ICE Estimator in Multilayer Perceptron Classifiers

arxiv url: http://arxiv.org/abs/2007.06157v1
Date: Mon, 13 Jul 2020 02:49:51 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 00:42:55.914375
Title: Implementing the ICE Estimator in Multilayer Perceptron Classifiers
Title（参考訳）: 多層パーセプトロン分類器におけるICE推定器の実装
Authors: Tyler Ward
Abstract要約: 本稿では,多層パーセプトロンモデルのためのICE推定器の実装手法について述べる。 ICE推定器はApache Spark MultilayerPerceptron Classifierで実装され、非調整のMLE損失(クロスエントロピー)を使用するストックMultilayerPerceptron Classifierを上回るようにクロスバリデーションで表示される。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper describes the techniques used to implement the ICE estimator for a multilayer perceptron model, and reviews the performance of the resulting models. The ICE estimator is implemented in the Apache Spark MultilayerPerceptronClassifier, and shown in cross-validation to outperform the stock MultilayerPerceptronClassifier that uses unadjusted MLE (cross-entropy) loss. The resulting models have identical runtime performance, and similar fitting performance to the stock MLP implementations. Additionally, this approach requires no hyper-parameters, and is therefore viable as a drop-in replacement for cross-entropy optimizing multilayer perceptron classifiers wherever overfitting may be a concern.
Abstract（参考訳）: 本稿では,多層パーセプトロンモデルにおける氷推定器の実装手法について述べるとともに,得られたモデルの性能について検討する。 ICE推定器はApache Spark MultilayerPerceptron Classifierで実装され、非調整のMLE損失(クロスエントロピー)を使用するストックMultilayerPerceptron Classifierを上回るようにクロスバリデーションで表示される。結果として得られたモデルは実行時と同一の性能を持ち、標準のMLP実装と同等の性能を持つ。さらに、このアプローチはハイパーパラメータを必要とせず、オーバーフィッティングが懸念される部分でクロスエントロピー最適化多層パーセプトロン分類器の代替として使用可能である。

関連論文リスト

Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-02T22:35:03Z)
Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文参考訳（メタデータ） (2024-05-31T17:43:35Z)
Interpretable Cross-Examination Technique (ICE-T): Using highly informative features to boost LLM performance [1.1961645395911131]
医学や法律など、解釈可能性が不可欠である領域では、標準モデルは「ブラックボックス」の性質のためにしばしば不足する。 ICE-Tは、LLMが複数の方向から問題にアプローチできるようにする一連のプロンプトを使用することで、これらの制限に対処する。我々は、医療記録や法的文書など、さまざまなデータソースにまたがるICE-Tの有効性を実証する。
論文参考訳（メタデータ） (2024-05-08T19:20:34Z)
VeRA: Vector-based Random Matrix Adaptation [29.99581464596137]
本稿では,Vectorをベースとしたランダム行列適応(Random Matrix Adaptation, VeRA)を提案する。 GLUE と E2E ベンチマーク、画像分類タスクでの有効性を示し、7B と 13B の言語モデルの命令チューニングへの応用を示す。
論文参考訳（メタデータ） (2023-10-17T17:59:46Z)
Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文参考訳（メタデータ） (2023-07-26T08:25:46Z)
Application Performance Modeling via Tensor Completion [6.399089940376445]
これらのテンソルの近似には,低ランクカノニカル・ポリジウムテンソル分解が有効であることを示す。次に、観測実行時間の少ない集合からCP分解を最適化するためにテンソル補完を用いる。
論文参考訳（メタデータ） (2022-10-18T22:12:29Z)
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文参考訳（メタデータ） (2021-10-21T06:26:31Z)
Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。提案手法は,高速トレーニングと優れた予測性能を実現する。
論文参考訳（メタデータ） (2021-05-24T21:01:47Z)
Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
論文参考訳（メタデータ） (2021-04-08T08:21:59Z)
Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文参考訳（メタデータ） (2020-11-18T03:32:27Z)
Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
論文参考訳（メタデータ） (2020-07-18T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。