Fugu-MT 論文翻訳(概要): Asterisk*: Keep it Simple

論文の概要: Asterisk*: Keep it Simple

arxiv url: http://arxiv.org/abs/2411.05691v1
Date: Fri, 08 Nov 2024 16:42:33 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 14:55:44.250981
Title: Asterisk*: Keep it Simple
Title（参考訳）: Asterisk*: シンプルに保つ
Authors: Andrew Semenov,
Abstract要約: 本稿では,テキスト埋め込みを生成するためのコンパクトGPTモデルであるAsteriskについて述べる。より大規模な事前学習モデルから知識蒸留を適用することにより、モデルサイズと性能のトレードオフを探求する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This paper describes Asterisk, a compact GPT-based model for generating text embeddings. The model uses a minimalist architecture with two layers, two attention heads, and 256 embedding dimensions. By applying knowledge distillation from larger pretrained models, we explore the trade-offs between model size and performance while minimizing computational and memory requirements. The model is primarily evaluated and optimized for classification tasks, with experimental results showing its moderate performance in zero-shot classification across various downstream applications. With additional configuration, the model performance can approach or even surpass that of larger architectures on specific classification tasks.
Abstract（参考訳）: 本稿では,テキスト埋め込みを生成するためのコンパクトGPTモデルであるAsteriskについて述べる。このモデルは、最小限のアーキテクチャを使い、2つのレイヤー、2つのアテンションヘッド、256の埋め込み次元を持つ。より大規模な事前学習モデルから知識蒸留を適用することにより,計算量とメモリ要件を最小化しながら,モデルサイズと性能のトレードオフを検討する。このモデルは、主に分類タスクに最適化され、様々な下流アプリケーションにおけるゼロショット分類における適度な性能を示す実験結果が得られた。追加設定により、モデルパフォーマンスは、特定の分類タスクにおいて、より大きなアーキテクチャに近づいたり、超えたりできる。

関連論文リスト

Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
論文参考訳（メタデータ） (2024-03-26T14:14:30Z)
The Case for Co-Designing Model Architectures with Hardware [13.022505733049597]
ユーザがトランスモデルのランタイムパフォーマンスを最大化するためのガイドラインのセットを提供する。効率的なモデル形状を持つモデルのスループットは、最大で39%高くなっています。
論文参考訳（メタデータ） (2024-01-25T19:50:31Z)
Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training [2.4862527485819186]
多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。 MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
論文参考訳（メタデータ） (2023-09-27T09:32:10Z)
Representer Point Selection for Explaining Regularized High-dimensional Models [105.75758452952357]
本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
論文参考訳（メタデータ） (2023-05-31T16:23:58Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文参考訳（メタデータ） (2022-05-30T16:55:59Z)
Tiny Neural Models for Seq2Seq [0.0]
pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
論文参考訳（メタデータ） (2021-08-07T00:39:42Z)
LV-BERT: Exploiting Layer Variety for BERT [85.27287501885807]
我々は,事前学習モデルに有益である層型集合に畳み込みを導入する。次に、事前学習による進化的アルゴリズムを採用し、最適なアーキテクチャを求める。提案手法により得られたLV-BERTモデルは,様々な下流タスクにおいてBERTとその変種より優れる。
論文参考訳（メタデータ） (2021-06-22T13:20:14Z)
Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文参考訳（メタデータ） (2021-06-20T02:15:20Z)
Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
論文参考訳（メタデータ） (2020-06-10T02:47:40Z)
Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。