論文の概要: Compressing Cross-Lingual Multi-Task Models at Qualtrics
- arxiv url: http://arxiv.org/abs/2211.15927v1
- Date: Tue, 29 Nov 2022 04:46:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 14:52:54.512719
- Title: Compressing Cross-Lingual Multi-Task Models at Qualtrics
- Title（参考訳）: 等級での言語横断型マルチタスクモデル圧縮
- Authors: Daniel Campos, Daniel Perry, Samir Joshi, Yashmeet Gambhir, Wei Du,
Zhengzheng Xing, Aaron Colak
- Abstract要約: 本稿では,12言語で複数の分類タスクを効率的に行うテキスト解析アプリケーションの構築事例について述べる。
言語間およびマルチタスクモデリング技術を活用して、モデルを単一デプロイメントに統合し、オーバーヘッドを回避する。
- 参考スコア（独自算出の注目度）: 6.082064834250784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Experience management is an emerging business area where organizations focus
on understanding the feedback of customers and employees in order to improve
their end-to-end experiences. This results in a unique set of machine learning
problems to help understand how people feel, discover issues they care about,
and find which actions need to be taken on data that are different in content
and distribution from traditional NLP domains. In this paper, we present a case
study of building text analysis applications that perform multiple
classification tasks efficiently in 12 languages in the nascent business area
of experience management. In order to scale up modern ML methods on experience
data, we leverage cross lingual and multi-task modeling techniques to
consolidate our models into a single deployment to avoid overhead. We also make
use of model compression and model distillation to reduce overall inference
latency and hardware cost to the level acceptable for business needs while
maintaining model prediction quality. Our findings show that multi-task
modeling improves task performance for a subset of experience management tasks
in both XLM-R and mBert architectures. Among the compressed architectures we
explored, we found that MiniLM achieved the best compression/performance
tradeoff. Our case study demonstrates a speedup of up to 15.61x with 2.60%
average task degradation (or 3.29x speedup with 1.71% degradation) and
estimated savings of 44% over using the original full-size model. These results
demonstrate a successful scaling up of text classification for the challenging
new area of ML for experience management.
- Abstract（参考訳）: エクスペリエンス管理は、エンドツーエンドのエクスペリエンスを改善するために、顧客と従業員のフィードバックを理解することに集中する、新たなビジネス領域です。
この結果、人々がどう感じているのかを理解し、関心のある問題を発見し、従来のNLPドメインと異なるコンテンツや分散データにどのアクションを取らなければならないかを見つけるのに役立ちます。
本稿では,経験管理の新たなビジネス領域において,12言語で複数の分類タスクを効率的に行うテキスト解析アプリケーションを構築するケーススタディを提案する。
経験データに基づいて最新のMLメソッドをスケールアップするために、クロス言語およびマルチタスクモデリング技術を活用して、モデルを単一デプロイメントに統合し、オーバーヘッドを回避する。
また、モデル圧縮とモデル蒸留を利用して、全体的な推論遅延とハードウェアコストを、モデル予測品質を維持しながらビジネスニーズに許容できるレベルまで削減します。
マルチタスクモデリングは,XLM-RおよびmBertアーキテクチャにおける経験管理タスクのサブセットにおけるタスク性能を向上することを示した。
私たちが調査した圧縮アーキテクチャのうち、MiniLMは最高の圧縮/性能トレードオフを達成した。
ケーススタディでは,最大15.61倍,平均タスク劣化率2.60% (3.29倍,1.71%) ,最大44%の削減率を示した。
これらの結果は、経験管理のためのMLの新しい領域において、テキスト分類のスケールアップに成功したことを示す。
関連論文リスト
- Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳（メタデータ） (2024-11-21T02:30:53Z) - Revisiting Reliability in Large-Scale Machine Learning Research Clusters [5.028600213808539]
信頼性は、大規模な機械学習インフラストラクチャを操作する上での根本的な課題である。
インフラストラクチャ障害に関する何十年もの研究にもかかわらず、さまざまなスケールでのジョブ障害の影響は、まだ不明である。
本稿では,2つの大規模マルチテナントMLクラスタを管理する視点について述べる。
論文 参考訳（メタデータ） (2024-10-29T03:02:53Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。
複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。
最先端の刈り取り法に比べて優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-07T17:19:15Z) - On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。
本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。
本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
論文 参考訳（メタデータ） (2024-06-17T03:07:41Z) - TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。
本手法は,様々なベンチマーク上での局所モデル性能を向上させる。
また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文 参考訳（メタデータ） (2024-03-15T14:36:38Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳（メタデータ） (2023-12-21T11:55:10Z) - JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for
Multi-task Mathematical Problem Solving [77.51817534090789]
マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。
我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
論文 参考訳（メタデータ） (2023-06-19T15:45:36Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z) - ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for
E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。
事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。
微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文 参考訳（メタデータ） (2023-01-31T07:31:34Z) - Fix your Models by Fixing your Datasets [0.6058427379240697]
現在の機械学習ツールは、データ品質を改善するための合理化されたプロセスを欠いている。
そこで,本研究では,データセットにノイズや誤認のあるサンプルを見つけるための体系的枠組みを提案する。
2つのFortune 500企業のプライベートエンタープライズデータセットと同様に、当社のフレームワークの有効性を公開してみます。
論文 参考訳（メタデータ） (2021-12-15T02:41:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。