論文の概要: The Inner Sentiments of a Thought
- arxiv url: http://arxiv.org/abs/2307.01784v1
- Date: Tue, 4 Jul 2023 15:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 16:40:48.985747
- Title: The Inner Sentiments of a Thought
- Title（参考訳）: 思考の内部的な感情
- Authors: Chris Gagne and Peter Dayan
- Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)は、非常にリアルなテキストを生成することができる。
分布の尾に感情のある文を生成するために分布予測を利用する方法を示す。
- 参考スコア（独自算出の注目度）: 21.168667497287547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based large-scale language models (LLMs) are able to generate
highly realistic text. They are duly able to express, and at least implicitly
represent, a wide range of sentiments and color, from the obvious, such as
valence and arousal to the subtle, such as determination and admiration. We
provide a first exploration of these representations and how they can be used
for understanding the inner sentimental workings of single sentences. We train
predictors of the quantiles of the distributions of final sentiments of
sentences from the hidden representations of an LLM applied to prefixes of
increasing lengths. After showing that predictors of distributions of valence,
determination, admiration, anxiety and annoyance are well calibrated, we
provide examples of using these predictors for analyzing sentences,
illustrating, for instance, how even ordinary conjunctions (e.g., "but") can
dramatically alter the emotional trajectory of an utterance. We then show how
to exploit the distributional predictions to generate sentences with sentiments
in the tails of distributions. We discuss the implications of our results for
the inner workings of thoughts, for instance for psychiatric dysfunction.
- Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は、非常にリアルなテキストを生成することができる。
彼らは、はっきりと表現することができ、少なくとも暗黙的に、明らかな、価値や覚醒のような明白なものから、決定や賞賛といった微妙なものまで、幅広い感情や色を表現することができる。
我々は、これらの表現を初めて探究し、それらが単一文の内部感傷的動作を理解するのにどのように役立つかを示す。
長くなる接頭辞に適用されるllmの隠れた表現から文章の最終的な感情分布の量的特徴を推定する。
評価, 判断, 賞賛, 不安, 不安の分布の予測が適切に調整されていることを示すと, これらの予測器を用いて文を分析し, 例えば, 通常の接続(例えば"but")でさえ, 発話の感情的軌跡を劇的に変えることができることを示す。
次に,分布予測を活用し,分布の尾に感情のある文を生成する方法を示す。
本研究は,精神機能障害などの思考の内的作業における結果の意義について考察する。
関連論文リスト
- Conjuring Semantic Similarity [59.18714889874088]
2つのテキスト表現間の意味的類似性は、潜伏者の「意味」の間の距離を測定する
テキスト表現間の意味的類似性は、他の表現を言い換えるのではなく、それらが引き起こすイメージに基づいている、という新しいアプローチを提案する。
提案手法は,人間の注釈付きスコアに適合するだけでなく,テキスト条件付き生成モデル評価のための新たな道を開く意味的類似性に関する新たな視点を提供する。
論文 参考訳（メタデータ） (2024-10-21T18:51:34Z) - Measure More, Question More: Experimental Studies on Transformer-based
Language Models and Complement Coercion [2.1320960069210484]
トランスフォーマーベースの言語モデルは、自然言語理解タスクの配列に強いパフォーマンスを示している。
補体強制現象を用いて,これらのモデルが暗黙の意味にどのように反応するかを検討する。
論文 参考訳（メタデータ） (2022-12-20T18:46:20Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Lost in Context? On the Sense-wise Variance of Contextualized Word
Embeddings [11.475144702935568]
各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。
単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
論文 参考訳（メタデータ） (2022-08-20T12:27:25Z) - Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。
既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。
視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
論文 参考訳（メタデータ） (2022-07-25T02:20:03Z) - Explaining Latent Representations with a Corpus of Examples [72.50996504722293]
本稿では,サンプルベースの説明を自由に選択されたサンプル集合を参照して提供するユーザ中心の手法であるSimplExを提案する。
SimplExは、ポストホックな説明で潜伏空間に対するユーザの理解を改善するためにコーパスを使用する。
SimplExは,モデル表現を説明するコーパス内の関連パターンを強調表示することで,ユーザを力づけることを示す。
論文 参考訳（メタデータ） (2021-10-28T17:59:06Z) - Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。
トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
論文 参考訳（メタデータ） (2021-10-15T22:01:16Z) - On the Interplay Between Fine-tuning and Composition in Transformers [7.513100214864645]
本研究では,微調整が文脈的埋め込み能力に及ぼす影響について検討する。
具体的には、語彙重なりの大きい逆パラフレーズ分類タスクと感情分類タスクを微調整する。
微調整はこれらの表現における構成性の恩恵をほとんど得られないが、感情に関するトレーニングは特定のモデルに対して小さな局所的な利益をもたらす。
論文 参考訳（メタデータ） (2021-05-31T01:49:56Z) - Accounting for Agreement Phenomena in Sentence Comprehension with
Transformer Language Models: Effects of Similarity-based Interference on
Surprisal and Attention [4.103438743479001]
主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。
動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
論文 参考訳（メタデータ） (2021-04-26T20:46:54Z) - Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。
独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。
本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
論文 参考訳（メタデータ） (2021-04-07T11:22:02Z) - "Let's Eat Grandma": When Punctuation Matters in Sentence Representation
for Sentiment Analysis [13.873803872380229]
我々は、句読点が感情分析において重要な役割を果たすと論じ、構文的および文脈的パフォーマンスを改善するための新しい表現モデルを提案する。
公開データセットの実験を行い、モデルが他の最先端のベースラインメソッドよりも正確に感情を識別することができることを確認します。
論文 参考訳（メタデータ） (2020-12-10T19:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。