論文の概要: Laughing Heads: Can Transformers Detect What Makes a Sentence Funny?

• arxiv url: http://arxiv.org/abs/2105.09142v1
• Date: Wed, 19 May 2021 14:02:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 13:51:22.210087
• Title: Laughing Heads: Can Transformers Detect What Makes a Sentence Funny?
• Title（参考訳）: 頭が笑える? トランスフォーマーが意味を発見できるのか?
• Authors: Maxime Peyrard, Beatriz Borges, Kristina Gligori\'c and Robert West
• Abstract要約: 我々は、最小組の文からなるデータセット上で、トランスフォーマーに基づくユーモア認識モデルを訓練し、分析する。 一致したデータセットは以前のデータセットよりもはるかに難しいが、トランスフォーマーベースのモデルは、高精度(78%)の一致したペアでユーモラスな文を認識する。 最も顕著なことは、訓練時にこの情報にアクセスしなくても、一つの注意頭がテスト文をユーモラスにする単語を認識することを学ぶという明確な証拠を見つけることである。
• 参考スコア（独自算出の注目度）: 18.67834526946997
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The automatic detection of humor poses a grand challenge for natural language processing. Transformer-based systems have recently achieved remarkable results on this task, but they usually (1)~were evaluated in setups where serious vs humorous texts came from entirely different sources, and (2)~focused on benchmarking performance without providing insights into how the models work. We make progress in both respects by training and analyzing transformer-based humor recognition models on a recently introduced dataset consisting of minimal pairs of aligned sentences, one serious, the other humorous. We find that, although our aligned dataset is much harder than previous datasets, transformer-based models recognize the humorous sentence in an aligned pair with high accuracy (78%). In a careful error analysis, we characterize easy vs hard instances. Finally, by analyzing attention weights, we obtain important insights into the mechanisms by which transformers recognize humor. Most remarkably, we find clear evidence that one single attention head learns to recognize the words that make a test sentence humorous, even without access to this information at training time.
• Abstract（参考訳）: ユーモアの自動検出は自然言語処理において大きな課題となる。 トランスフォーマーベースのシステムは、最近このタスクで驚くべき結果を得たが、通常は(1)真面目なテキストとユーモラスなテキストが全く異なるソースからもたらされた設定で評価され、(2)モデルの動作に関する洞察を提供することなく、ベンチマークのパフォーマンスにフォーカスしている。 本研究は,変圧器をベースとしたユーモア認識モデルを用いて,最小対の一致文からなる最近導入されたデータセットをトレーニングし,解析することにより,両面で進展する。 一致したデータセットは以前のデータセットよりもはるかに難しいが、トランスフォーマーベースのモデルは、高精度(78%)の一致したペアでユーモラスな文を認識する。 注意深いエラー解析では、簡単なインスタンスと難しいインスタンスを特徴付ける。 最後に,注意重みの分析により,トランスフォーマーがユーモアを認識するメカニズムに関する重要な知見を得る。 最も顕著なのは、訓練時にこの情報にアクセスしなくても、一つの注意頭がテスト文をユーモラスにする単語を認識することを学ぶという明確な証拠である。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Is AI fun? HumorDB: a curated dataset and benchmark to investigate graphical humor [8.75275650545552]
  HumorDBは、視覚的ユーモア理解を促進するために特別に設計された、イメージのみのデータセットである。 このデータセットは、バイナリ分類、レンジ回帰、ペアワイズ比較タスクによる評価を可能にする。 HumorDBは、強力な大規模マルチモーダルモデルの貴重なベンチマークとしての可能性を示している。
  論文  参考訳（メタデータ） (2024-06-19T13:51:40Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
  風は人間の社会的行動、感情、認知の重要な要素である。 現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。 約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
  論文  参考訳（メタデータ） (2022-09-28T17:36:47Z)
• Dutch Humor Detection by Generating Negative Examples [5.888646114353371]
  覚醒検出は通常二分分類タスクとしてモデル化され、与えられたテキストがジョークか他のタイプのテキストかを予測するように訓練される。 本稿では,本来のジョークデータセットを模倣するテキスト生成アルゴリズムを提案し,学習アルゴリズムの難易度を高める。 古典的ニューラルネットワークアプローチのユーモア検出能力と,最先端のオランダ語モデルであるRobBERTとの比較を行った。
  論文  参考訳（メタデータ） (2020-10-26T15:15:10Z)
• ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor [0.0]
  本稿では,ユーモアの一般的な言語理論に基づいて,短いテキストでユーモアを検出・評価するための新しいアプローチを提案する。 提案手法は,与えられたテキストの文を分離し,BERTモデルを用いて各テキストの埋め込みを生成する。 我々はこの論文に、20万の形式的な短文からなるユーモア検出のための新しいデータセットを添付した。 提案モデルでは, 一般モデル, 最先端モデルより優れるユーモア検出実験において, 0.982, 0.869のF1スコアを得た。
  論文  参考訳（メタデータ） (2020-04-27T13:10:11Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。