論文の概要: Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks

• arxiv url: http://arxiv.org/abs/2306.09705v1
• Date: Fri, 16 Jun 2023 09:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 14:30:31.321331
• Title: Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks
• Title（参考訳）: 感情分析における計算コストの削減:テンソル化再帰ネットワーク対再帰ネットワーク
• Authors: Gabriel Lopez, Anna Nguyen, Joe Kaul
• Abstract要約: 特定のテキストに対する聴衆の反応を期待することは、政治、研究、商業産業など、社会のいくつかの側面に不可欠である。 感性分析(英: Sentiment Analysis、SA)は、語彙・統計・深層学習法を用いて、異なるサイズのテキストが肯定的、否定的、中立的な感情を示すかどうかを判断する有用な自然言語処理(NLP)技術である。
• 参考スコア（独自算出の注目度）: 0.12891210250935145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anticipating audience reaction towards a certain text is integral to several facets of society ranging from politics, research, and commercial industries. Sentiment analysis (SA) is a useful natural language processing (NLP) technique that utilizes lexical/statistical and deep learning methods to determine whether different-sized texts exhibit positive, negative, or neutral emotions. Recurrent networks are widely used in machine-learning communities for problems with sequential data. However, a drawback of models based on Long-Short Term Memory networks and Gated Recurrent Units is the significantly high number of parameters, and thus, such models are computationally expensive. This drawback is even more significant when the available data are limited. Also, such models require significant over-parameterization and regularization to achieve optimal performance. Tensorized models represent a potential solution. In this paper, we classify the sentiment of some social media posts. We compare traditional recurrent models with their tensorized version, and we show that with the tensorized models, we reach comparable performances with respect to the traditional models while using fewer resources for the training.
• Abstract（参考訳）: 特定のテキストに対する聴衆の反応を予測することは、政治、研究、商業産業を含む社会のいくつかの側面に不可欠である。 感性分析(英: Sentiment Analysis、SA)は、語彙・統計・深層学習法を用いて、異なるサイズのテキストが肯定的、否定的、中立的な感情を示すかどうかを判断する有用な自然言語処理(NLP)技術である。 リカレントネットワークは、シーケンシャルデータの問題に対して機械学習コミュニティで広く利用されている。 しかし、Long-Short Term Memory NetworkとGated Recurrent Unitsに基づくモデルの欠点は、非常に多くのパラメータであり、そのようなモデルは計算的に高価である。 この欠点は、利用可能なデータが限られている場合にさらに大きい。 また、これらのモデルは最適な性能を達成するためにかなりの過パラメータ化と正則化を必要とする。 テンソル化モデルは潜在的な解である。 本稿では,ソーシャルメディア投稿の感情を分類する。 従来のモデルとテンソル化バージョンを比較して,テンソル化モデルでは,トレーニングにリソースを少なく使用しながら,従来のモデルと同等のパフォーマンスを達成できることを示した。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• A Training Rate and Survival Heuristic for Inference and Robustness Evaluation (TRASHFIRE) [1.622320874892682]
  この研究は、特定のモデルハイパーパラメータが、相手の存在下でモデルの性能にどのように影響するかを理解し予測する問題に対処する。 提案手法では、サバイバルモデル、最悪の例、コスト認識分析を用いて、特定のモデル変更を正確かつ正確に拒否する。 提案手法を用いて、最も単純なホワイトボックス攻撃に対して、ResNetは絶望的に反対であることを示す。
  論文  参考訳（メタデータ） (2024-01-24T19:12:37Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Interaction Decompositions for Tensor Network Regression [0.0]
  異なる回帰器の相対的重要性を次数関数として評価する方法を示す。 相互作用次数の小さな部分集合にのみ明示的にトレーニングされた新しいタイプのテンソルネットワークモデルを導入する。 このことは、標準テンソルネットワークモデルが、低次項を非常に利用しない非効率な方法でそれらの回帰器を利用することを示唆している。
  論文  参考訳（メタデータ） (2022-08-11T20:17:27Z)
• On the Versatile Uses of Partial Distance Correlation in Deep Learning [47.11577420740119]
  本稿では、異なる次元の特徴空間間の相関を評価するために設計された距離相関(および部分変量)と呼ばれる統計学から(広く知られていない)再検討する。 本稿では,大規模モデルへの展開に必要なステップについて述べる。 これは、ある深いモデルw.r.t.を条件付けすること、非絡み合った表現を学習すること、および敵の攻撃に対してより堅牢な多様なモデルを最適化することなど、驚くべき一連のアプリケーションへの扉を開く。
  論文  参考訳（メタデータ） (2022-07-20T06:36:11Z)
• Multi-fidelity regression using artificial neural networks: efficient approximation of parameter-dependent output quantities [0.17499351967216337]
  本稿では,多元性回帰問題に対するニューラルネットワークの利用について述べる。 導入されたモデルは、従来のマルチファイアリティスキームと比較されます。 また、工学的問題に対するマルチファイダリグレッションの適用も示します。
  論文  参考訳（メタデータ） (2021-02-26T11:29:00Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Prediction of Hilbertian autoregressive processes : a Recurrent Neural Network approach [0.0]
  本稿では,自己相関演算子をニューラルネットワーク学習手法と比較し,古典的予測手法を提案する。 後者は、Recurrent Neural Networksの人気のあるバージョンであるLong Short Term Memory Networkに基づいている。
  論文  参考訳（メタデータ） (2020-08-25T16:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。