論文の概要: Analyze the Effects of Weighting Functions on Cost Function in the Glove
Model
- arxiv url: http://arxiv.org/abs/2009.04732v1
- Date: Thu, 10 Sep 2020 08:55:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 03:29:04.224479
- Title: Analyze the Effects of Weighting Functions on Cost Function in the Glove
Model
- Title(参考訳): グラブモデルにおける重量関数がコスト関数に及ぼす影響の解析
- Authors: Trieu Hai Nguyen
- Abstract要約: パラメータの選択やベンチマーク作成に要する時間を節約できる重み付け関数を導出する。
また、実験をせずにほぼ同様の精度を同時に得ることもできる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When dealing with the large vocabulary size and corpus size, the run-time for
training Glove model is long, it can even be up to several dozen hours for
data, which is approximately 500MB in size. As a result, finding and selecting
the optimal parameters for the weighting function create many difficulties for
weak hardware. Of course, to get the best results, we need to test benchmarks
many times. In order to solve this problem, we derive a weighting function,
which can save time for choosing parameters and making benchmarks. It also
allows one to obtain nearly similar accuracy at the same given time without
concern for experimentation.
- Abstract(参考訳): 大きな語彙サイズとコーパスサイズを扱う場合、トレーニンググローブモデルの実行時間は長く、データのサイズが約500mbの数十時間に及ぶ場合もあります。
その結果、重み付け関数の最適パラメータの探索と選択は、弱いハードウェアに多くの困難をもたらす。
もちろん、最高の結果を得るためには、ベンチマークを何度もテストする必要があります。
この問題を解決するために,パラメータの選択やベンチマーク作成に要する時間を短縮できる重み付け関数を導出する。
また、実験を気にせずに、ほぼ同じ精度を同時に得ることもできる。
関連論文リスト
- How predictable is language model benchmark performance? [0.07143413923310668]
平均ベンチマーク性能は、多くの個別タスクを集約し、計算スケールを訓練する機能として十分に予測可能であることを示す。
個々のタスクのパフォーマンスは、偶然よりもはるかに予測可能である。
論文 参考訳(メタデータ) (2024-01-09T17:34:30Z) - Slow Kill for Big Data Learning [4.427447378048202]
ビッグデータアプリケーションには、多くの場合、膨大な数の観測と推定の課題が伴います。
本稿では適応的な$ell slow$-shrinkageを利用するノンスローキルと呼ばれる新しい手法を提案する。
実データと合成データの実験結果から、遅いキルは様々な状況で最先端のアルゴリズムより優れていることが示された。
論文 参考訳(メタデータ) (2023-05-02T18:51:35Z) - GC-GRU-N for Traffic Prediction using Loop Detector Data [5.735035463793008]
シアトルのループ検出器のデータを15分以上収集し、その問題を時空で再現する。
モデルは、最速の推論時間と非常に近いパフォーマンスで第2位(トランスフォーマー)。
論文 参考訳(メタデータ) (2022-11-13T06:32:28Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳(メタデータ) (2022-01-31T13:01:37Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - FastIF: Scalable Influence Functions for Efficient Model Interpretation
and Debugging [112.19994766375231]
影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。
fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。
本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
論文 参考訳(メタデータ) (2020-12-31T18:02:34Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳(メタデータ) (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。