論文の概要: Linear Representations of Sentiment in Large Language Models

• arxiv url: http://arxiv.org/abs/2310.15154v1
• Date: Mon, 23 Oct 2023 17:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 18:06:35.309457
• Title: Linear Representations of Sentiment in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける感情の線形表現
• Authors: Curt Tigges, Oskar John Hollinsworth, Atticus Geiger, Neel Nanda
• Abstract要約: 様々なモデルにおいて、感情は線形に表現される。 アクティベーション空間における1つの方向は、主に1つの極端に正、もう1つは負の極端なタスクでその特徴を捉えている。 その結果,Stanford Sentiment Treebank のゼロショット分類では,感情方向を損なう場合,上記の分類精度の76%が失われていることがわかった。
• 参考スコア（独自算出の注目度）: 6.5623136175735475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentiment is a pervasive feature in natural language text, yet it is an open question how sentiment is represented within Large Language Models (LLMs). In this study, we reveal that across a range of models, sentiment is represented linearly: a single direction in activation space mostly captures the feature across a range of tasks with one extreme for positive and the other for negative. Through causal interventions, we isolate this direction and show it is causally relevant in both toy tasks and real world datasets such as Stanford Sentiment Treebank. Through this case study we model a thorough investigation of what a single direction means on a broad data distribution. We further uncover the mechanisms that involve this direction, highlighting the roles of a small subset of attention heads and neurons. Finally, we discover a phenomenon which we term the summarization motif: sentiment is not solely represented on emotionally charged words, but is additionally summarized at intermediate positions without inherent sentiment, such as punctuation and names. We show that in Stanford Sentiment Treebank zero-shot classification, 76% of above-chance classification accuracy is lost when ablating the sentiment direction, nearly half of which (36%) is due to ablating the summarized sentiment direction exclusively at comma positions.
• Abstract（参考訳）: Sentimentは自然言語のテキストで広く使われている機能だが、Large Language Models (LLMs) の中でどのように感情が表現されるかは疑問視されている。 本研究では,複数のモデルにまたがって感情が線形に表現されることを明らかにする。活性化空間の1つの方向は,正に対して1つの極端に負に対して1つの極端に1つの極端に1つの特徴を捉えている。 因果介入を通じて、この方向を分離し、Stanford Sentiment Treebankのようなおもちゃのタスクと現実世界のデータセットの両方に因果関係があることを示す。 このケーススタディを通じて,単一方向が広範なデータ分布にどのような意味を持つのかを徹底的に検討する。 我々はさらに、この方向に関与するメカニズムを解明し、注意頭と神経細胞の小さなサブセットの役割を強調します。 最後に,要約モチーフと呼ばれる現象を見出す。感情は感情的にチャージされた単語にのみ表現されるのではなく,句読点や名前といった固有の感情のない中間の位置に要約される。 スタンフォードのセンチメント・ツリーバンクのゼロショット分類では、感情方向をブレイトする場合、上述の分類精度の76%が失われるが、その約半分(36%)はコンマ位置のみで要約された感情方向のブレイトによるものである。

関連論文リスト

• PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis [74.41260927676747]
  本稿では,マルチモーダル対話感分析(ABSA)を導入することでギャップを埋める。 タスクをベンチマークするために、手動と自動の両方で注釈付けされたデータセットであるPanoSentを構築し、高品質、大規模、マルチモーダル、マルチ言語主義、マルチシナリオを特徴とし、暗黙の感情要素と明示的な感情要素の両方をカバーする。 課題を効果的に解決するために,新しい多モーダルな大規模言語モデル(すなわちSentica)とパラフレーズベースの検証機構とともに,新しい感覚の連鎖推論フレームワークを考案した。
  論文  参考訳（メタデータ） (2024-08-18T13:51:01Z)
• What is Sentiment Meant to Mean to Language Models? [0.0]
  センチメント(sentiment)は、使用するドメインやツールによって、さまざまな概念を包含する。 感覚」は、感情、意見、市場の動き、あるいは単に一般の善悪の次元を意味するために使われてきた。
  論文  参考訳（メタデータ） (2024-05-03T19:37:37Z)
• USA: Universal Sentiment Analysis Model & Construction of Japanese Sentiment Text Classification and Part of Speech Dataset [0.0]
  本稿では,個々の単語と全体テキスト間の相互強化効果(MRE)を活用することで,性能の向上を提案する。 本研究を支援するために,4つの新しい感性テキスト分類と音声の一部(SCPOS)データセットをアノテートした。 さらに,7ビリオンのパラメータサイズを持つユニバーサル・センチメント・アナリティクス(USA)モデルを開発した。
  論文  参考訳（メタデータ） (2023-09-07T15:35:00Z)
• Affection: Learning Affective Explanations for Real-World Visual Data [50.28825017427716]
  我々は,85,007枚の公開画像に対して,感情反応と自由形式のテキスト説明を含む大規模データセットを研究コミュニティに導入し,共有する。 本研究は, 被写体集団に大きな支持を得て, 潜在的に有意な感情反応をとらえる上で, 重要な共通基盤があることを示唆する。 私たちの研究は、より豊かで、より人間中心で、感情に敏感な画像分析システムへの道を開くものです。
  論文  参考訳（メタデータ） (2022-10-04T22:44:17Z)
• Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
  視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。 既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。 視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T02:20:03Z)
• Dialog speech sentiment classification for imbalanced datasets [7.84604505907019]
  本稿では,短対話発話の単一・二モーダル分析を用い,感情検出に寄与する主な要因について考察する。 本稿では、学習率スケジューラと異なる監視基準を用いて、SWITCHBOARDの不均衡感情データセットの最先端結果を提供するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-15T11:43:04Z)
• Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning [103.0064298630794]
  アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。 注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。 提案手法を3つの最先端の神経ABSAモデルに統合する。
  論文  参考訳（メタデータ） (2021-03-05T02:50:05Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Experiencers, Stimuli, or Targets: Which Semantic Roles Enable Machine Learning to Infer the Emotions? [9.374871304813638]
  我々は、少なくとも1つの意味的役割を持つ注釈付きデータセット上で感情分類モデルを訓練する。 複数のコーパス、刺激、ターゲットが感情情報を伝達しているのに対して、経験者は共同創設者と見なされるかもしれない。
  論文  参考訳（メタデータ） (2020-11-03T10:01:44Z)
• Attention-Based Neural Networks for Sentiment Attitude Extraction using Distant Supervision [0.0]
  我々は,(1)特徴ベース,(2)自己ベースという2種類の注意的文脈エンコーダを適応させる。 RuSentRelコーパスを用いた実験では、トレーニングにRuAttitudesコーパスを使用する3クラス分類モデルが10%増加し、F1により3%余分に増加した。
  論文  参考訳（メタデータ） (2020-06-23T13:54:48Z)
• Symbiotic Attention with Privileged Information for Egocentric Action Recognition [71.0778513390334]
  我々は,エゴセントリックなビデオ認識のための新しい共生アテンションフレームワークを提案する。 本フレームワークは,動詞の分岐,名詞の分岐,特権情報間の相互通信を可能にする。 特に、大規模なエゴセントリックな2つのビデオデータセットの最先端を実現している。
  論文  参考訳（メタデータ） (2020-02-08T10:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。