論文の概要: Some Like It Small: Czech Semantic Embedding Models for Industry
Applications
- arxiv url: http://arxiv.org/abs/2311.13921v1
- Date: Thu, 23 Nov 2023 11:14:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 00:09:50.338361
- Title: Some Like It Small: Czech Semantic Embedding Models for Industry
Applications
- Title(参考訳): 産業アプリケーションのためのチェコ語意味的埋め込みモデル
- Authors: Ji\v{r}\'i Bedn\'a\v{r}, Jakub N\'aplava, Petra Baran\v{c}\'ikov\'a,
Ond\v{r}ej Lisick\'y
- Abstract要約: 本稿では,小型チェコ語文埋め込みモデルの開発と評価に焦点をあてる。
小型モデルは資源制約のある環境でのリアルタイム産業アプリケーションにとって重要なコンポーネントである。
最終的に、チェコの検索エンジンであるSeznam.czで開発された文埋め込みモデルの実用的応用について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article focuses on the development and evaluation of Small-sized Czech
sentence embedding models. Small models are important components for real-time
industry applications in resource-constrained environments. Given the limited
availability of labeled Czech data, alternative approaches, including
pre-training, knowledge distillation, and unsupervised contrastive fine-tuning,
are investigated. Comprehensive intrinsic and extrinsic analyses are conducted,
showcasing the competitive performance of our models compared to significantly
larger counterparts, with approximately 8 times smaller size and 5 times faster
speed than conventional Base-sized models. To promote cooperation and
reproducibility, both the models and the evaluation pipeline are made publicly
accessible. Ultimately, this article presents practical applications of the
developed sentence embedding models in Seznam.cz, the Czech search engine.
These models have effectively replaced previous counterparts, enhancing the
overall search experience for instance, in organic search, featured snippets,
and image search. This transition has yielded improved performance.
- Abstract(参考訳): 本稿では,小型チェコ文埋め込みモデルの開発と評価について述べる。
小型モデルは資源制約環境におけるリアルタイム産業アプリケーションにとって重要なコンポーネントである。
ラベル付きチェコデータの利用が限られている中、事前訓練、知識蒸留、教師なしのコントラスト微調整などの代替手法が検討されている。
包括的本質的および極端的分析を行い,従来型モデルに比べて約8倍小さく,5倍の速度で比較した。
協調と再現性を促進するため、モデルと評価パイプラインの両方が公開アクセス可能となる。
本稿では,チェコの検索エンジンであるseznam.czにおける文埋め込みモデルの実践的応用について述べる。
これらのモデルは、オーガニック検索、フィーチャースニペット、画像検索など、従来のモデルに取って代わり、全体的な検索エクスペリエンスを高めた。
この移行により性能が向上した。
関連論文リスト
- Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。
この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
論文 参考訳(メタデータ) (2024-03-26T14:14:30Z) - RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。
本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。
スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。
複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
論文 参考訳(メタデータ) (2023-04-25T09:23:43Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳(メタデータ) (2022-10-13T15:47:09Z) - Short-answer scoring with ensembles of pretrained language models [0.0]
我々は、人気の小さな、ベース、そして大きな事前訓練されたトランスフォーマーベースの言語モデルの集合を微調整する。
これらのモデルのアンサンブルをテストするために、データセット上に1つのフィーチャーベースモデルをトレーニングします。
一般に、より大型のモデルの方が若干性能が良いが、それでも最先端の結果には達していない。
論文 参考訳(メタデータ) (2022-02-23T15:12:20Z) - Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。
蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。
ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
論文 参考訳(メタデータ) (2021-06-09T17:20:40Z) - Optimal Size-Performance Tradeoffs: Weighing PoS Tagger Models [5.092028049119383]
機械学習ベースのNLPパフォーマンスの改善は、より大きなモデルとより複雑なコードでしばしば紹介される。
より優れたスコアは、より大きなツールのコストで得られ、より大きなモデルは、トレーニングと推論時間の間により多くのものを必要とします。
本稿では,モデルのサイズを計測し,これをモデルの性能と比較する手法を提案する。
論文 参考訳(メタデータ) (2021-04-16T08:02:56Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳(メタデータ) (2020-01-20T15:15:07Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。