論文の概要: Efficient Sentiment Analysis: A Resource-Aware Evaluation of Feature Extraction Techniques, Ensembling, and Deep Learning Models

• arxiv url: http://arxiv.org/abs/2308.02022v2
• Date: Thu, 18 Apr 2024 17:06:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 14:38:58.480375
• Title: Efficient Sentiment Analysis: A Resource-Aware Evaluation of Feature Extraction Techniques, Ensembling, and Deep Learning Models
• Title（参考訳）: 効率的な感性分析: 特徴抽出手法, 構成, 深層学習モデルの資源的評価
• Authors: Mahammed Kamruzzaman, Gene Louis Kim,
• Abstract要約: 我々は,資源コストに着目した文書レベルの感情分析モデルを評価する。 より小さなデータセットでは,資源消費の差が大きくなるにつれて精度の差が小さくなることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While reaching for NLP systems that maximize accuracy, other important metrics of system performance are often overlooked. Prior models are easily forgotten despite their possible suitability in settings where large computing resources are unavailable or relatively more costly. In this paper, we perform a broad comparative evaluation of document-level sentiment analysis models with a focus on resource costs that are important for the feasibility of model deployment and general climate consciousness. Our experiments consider different feature extraction techniques, the effect of ensembling, task-specific deep learning modeling, and domain-independent large language models (LLMs). We find that while a fine-tuned LLM achieves the best accuracy, some alternate configurations provide huge (up to 24, 283 *) resource savings for a marginal (<1%) loss in accuracy. Furthermore, we find that for smaller datasets, the differences in accuracy shrink while the difference in resource consumption grows further.
• Abstract（参考訳）: 精度を最大化するNLPシステムに到達する一方で、システムパフォーマンスの他の重要な指標は見過ごされがちである。 大規模なコンピューティングリソースが利用できない、あるいは比較的コストがかかる設定では、適合性があるにもかかわらず、以前のモデルは容易に忘れられる。 本稿では、モデル展開と一般的な気候意識の実現可能性において重要なリソースコストに着目し、文書レベルの感情分析モデルの比較評価を行う。 実験では,異なる特徴抽出手法,アンサンブルの効果,タスク固有のディープラーニングモデリング,ドメインに依存しない大規模言語モデル(LLM)について検討した。 微調整 LLM が最高の精度を達成する一方で、いくつかの代替構成は、限界値 (<1%) の精度でリソースを節約できる(最大24, 283* まで)。 さらに, より小さなデータセットでは, 資源消費の差が増大するにつれて, 精度の差が小さくなることがわかった。

関連論文リスト

• Re-Visiting Explainable AI Evaluation Metrics to Identify The Most Informative Features [0.0]
  関数性またはプロキシベースのアプローチは、人工知能手法の品質を評価するために使用されるアプローチの1つである。 その中では、選択性(Selectivity)やRemOve And Retrain(ROAR)、Permutation Importance(PI)が最も一般的に使用されるメトリクスである。 本稿では,ROAR や IP が実装された場合のモデルの上と下の境界を予測するための予測精度区間 (EAI) を提案する。
  論文  参考訳（メタデータ） (2025-01-31T17:18:43Z)
• Learnable Sparse Customization in Heterogeneous Edge Computing [27.201987866208484]
  異種フェデレート学習(FedLPS)のための学習可能なパーソナライズ・スパシフィケーションを提案する。 FedLPSは、局所データ表現におけるモデルユニットの重要性を学び、パーソナライズされたデータ特徴を正確に抽出するために、最小限の重要度に基づくスパースパターンを導出する。 実験により、FedLPSは精度とトレーニングコストにおいてステータスクオアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-10T06:14:31Z)
• Linear Discriminant Analysis in Credit Scoring: A Transparent Hybrid Model Approach [9.88281854509076]
  特徴量削減手法として線形判別分析 (LDA) を実装し, モデルの複雑さの軽減を図る。 我々のハイブリッドモデルであるXG-DNNは、99.45%の精度と99%のF1スコアでLDAを上回りました。 モデル決定を解釈するために、LIME (local) と Morris Sensitivity Analysis (global) という2つの異なる説明可能なAI技術を適用した。
  論文  参考訳（メタデータ） (2024-12-05T14:21:18Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Applying Fine-Tuned LLMs for Reducing Data Needs in Load Profile Analysis [9.679453060210978]
  本稿では、負荷プロファイル解析におけるデータ要求を最小限に抑えるために、LLM(en: Fine-tuned Large Language Models)を利用する新しい手法を提案する。 2段階の微調整戦略が提案され、データ復元作業の欠如に対して事前訓練されたLLMを適用する。 BERT-PIN などの最先端モデルに匹敵する性能を達成し,その精度向上のための微調整モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-02T23:18:11Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Quality In / Quality Out: Data quality more relevant than model choice in anomaly detection with the UGR'16 [0.29998889086656577]
  ベンチマークデータセットの比較的小さな変更は、考慮された特定のML手法よりも、モデルパフォーマンスに著しく影響することを示します。 また、不正確なラベル付けの結果、測定されたモデル性能が不確かであることも示す。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。