論文の概要: Emotion Detection with Transformers: A Comparative Study

• arxiv url: http://arxiv.org/abs/2403.15454v3
• Date: Fri, 19 Jul 2024 23:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:11:12.811382
• Title: Emotion Detection with Transformers: A Comparative Study
• Title（参考訳）: 変圧器による感情検出 : 比較検討
• Authors: Mahdi Rezapour,
• Abstract要約: 我々は、異なる変圧器の変種を用いて、感情データセットを用いて、事前訓練されたトランスフォーマーモデルを訓練し、評価する。 解析の結果,句読解や停止語といった一般的な手法は,モデルの性能を損なうことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this study, we explore the application of transformer-based models for emotion classification on text data. We train and evaluate several pre-trained transformer models, on the Emotion dataset using different variants of transformers. The paper also analyzes some factors that in-fluence the performance of the model, such as the fine-tuning of the transformer layer, the trainability of the layer, and the preprocessing of the text data. Our analysis reveals that commonly applied techniques like removing punctuation and stop words can hinder model performance. This might be because transformers strength lies in understanding contextual relationships within text. Elements like punctuation and stop words can still convey sentiment or emphasis and removing them might disrupt this context.
• Abstract（参考訳）: 本研究では,テキストデータを用いた感情分類におけるトランスフォーマーモデルの適用について検討する。 我々は、異なる変圧器の変種を用いて、感情データセットを用いて、事前訓練されたトランスフォーマーモデルを訓練し、評価する。 また、トランス層の微調整、層の訓練性、テキストデータの事前処理など、モデルの性能に影響を及ぼす要因についても分析する。 解析の結果,句読解や停止語といった一般的な手法は,モデルの性能を損なうことが判明した。 これは、トランスフォーマーの強みがテキスト内のコンテキスト関係を理解することにあるためかもしれない。 句読点や停止語といった要素は、それでも感情や強調を伝達し、それらを取り除くことで、この文脈を混乱させる可能性がある。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Improving Attention-Based Interpretability of Text Classification Transformers [7.027858121801477]
  テキスト分類における変圧器の注意に基づく解釈可能性手法の有効性について検討する。 適切な設定で、最新技術に匹敵する結果が得られるようなタスクに注意を向けることが示される。
  論文  参考訳（メタデータ） (2022-09-22T09:19:22Z)
• Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
  我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。 トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
  論文  参考訳（メタデータ） (2021-09-15T08:32:20Z)
• Transformer-F: A Transformer network with effective methods for learning universal sentence representation [8.225067988604351]
  Transformerモデルは、自然言語処理で文表現に広く使われている。 本稿では,トランスフォーマーの性能向上のための2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-07-02T03:20:11Z)
• Assessing Phrasal Representation and Composition in Transformers [13.460125148455143]
  ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。 本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。 これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
  論文  参考訳（メタデータ） (2020-10-08T04:59:39Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Hierarchical Transformer Network for Utterance-level Emotion Recognition [0.0]
  発話レベルの感情認識(ULER)における課題に対処する。 従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。 我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。 さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
  論文  参考訳（メタデータ） (2020-02-18T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。