論文の概要: OxfordTVG-HIC: Can Machine Make Humorous Captions from Images?
- arxiv url: http://arxiv.org/abs/2307.11636v1
- Date: Fri, 21 Jul 2023 14:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 12:04:00.126894
- Title: OxfordTVG-HIC: Can Machine Make Humorous Captions from Images?
- Title（参考訳）: オックスフォードTVG-HIC:マシンは画像からハモラスなキャプションを作れるか?
- Authors: Runjia Li, Shuyang Sun, Mohamed Elhoseiny, Philip Torr
- Abstract要約: ユーモア生成と理解のための大規模データセットであるOxfordTVG-HIC(Humorous Image Captions)を提案する。
OxfordTVG-HICは幅広い感情的・意味的な多様性を特徴とし、アウト・オブ・コンテクストの例である。
我々は、生成されたテキストのユーモアを評価するために、OxfordTVG-HICをどのように活用できるかを示す。
- 参考スコア（独自算出の注目度）: 27.899718595182172
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents OxfordTVG-HIC (Humorous Image Captions), a large-scale
dataset for humour generation and understanding. Humour is an abstract,
subjective, and context-dependent cognitive construct involving several
cognitive factors, making it a challenging task to generate and interpret.
Hence, humour generation and understanding can serve as a new task for
evaluating the ability of deep-learning methods to process abstract and
subjective information. Due to the scarcity of data, humour-related generation
tasks such as captioning remain under-explored. To address this gap,
OxfordTVG-HIC offers approximately 2.9M image-text pairs with humour scores to
train a generalizable humour captioning model. Contrary to existing captioning
datasets, OxfordTVG-HIC features a wide range of emotional and semantic
diversity resulting in out-of-context examples that are particularly conducive
to generating humour. Moreover, OxfordTVG-HIC is curated devoid of offensive
content. We also show how OxfordTVG-HIC can be leveraged for evaluating the
humour of a generated text. Through explainability analysis of the trained
models, we identify the visual and linguistic cues influential for evoking
humour prediction (and generation). We observe qualitatively that these cues
are aligned with the benign violation theory of humour in cognitive psychology.
- Abstract（参考訳）: 本稿では,ユーモア生成と理解のための大規模データセットであるOxfordTVG-HIC(Humorous Image Captions)を提案する。
ユーモアは抽象的、主観的、文脈依存的な認知的構成であり、いくつかの認知的要因を含んでいる。
したがって、ユーモアの生成と理解は、抽象的および主観的な情報を処理するためのディープラーニング手法の能力を評価する新しいタスクとなりうる。
データ不足のため、キャプションなどのユーモア関連の生成タスクは未探索のままである。
このギャップに対処するため、OxfordTVG-HICは約2.9Mの画像テキストペアとユーモアスコアを提供し、一般化可能なユーモアキャプションモデルを訓練する。
既存のキャプションデータセットとは対照的に、OxfordTVG-HICは幅広い感情的・意味的な多様性を特徴としており、特にユーモアを発生させるのに効果がある。
さらに、OxfordTVG-HICは攻撃的コンテンツを欠いている。
また,oxfordtvg-hicを用いて,生成されたテキストのユーモアを評価する方法を示す。
学習モデルの説明可能性分析を通じて,ユーモアの予測(および生成)に影響を及ぼす視覚的および言語的手がかりを同定する。
我々は,これらの手がかりが認知心理学におけるユーモアの良心的違反理論と一致することを質的に観察する。
関連論文リスト
- Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。
提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。
中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
論文 参考訳（メタデータ） (2024-07-04T18:13:38Z) - Is AI fun? HumorDB: a curated dataset and benchmark to investigate graphical humor [8.75275650545552]
HumorDBは、視覚的ユーモア理解を促進するために特別に設計された、イメージのみのデータセットである。
このデータセットは、バイナリ分類、レンジ回帰、ペアワイズ比較タスクによる評価を可能にする。
HumorDBは、強力な大規模マルチモーダルモデルの貴重なベンチマークとしての可能性を示している。
論文 参考訳（メタデータ） (2024-06-19T13:51:40Z) - Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。
我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。
我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
論文 参考訳（メタデータ） (2024-02-23T02:58:12Z) - Sentiment-enhanced Graph-based Sarcasm Explanation in Dialogue [67.09698638709065]
本稿では,SEntiment-enhanceD Graph を用いたマルチモーダルサルカズム記述フレームワーク EDGE を提案する。
特に,まずレキシコン誘導型発話感情推論モジュールを提案し,そこでは発話感情改善戦略を考案する。
次に,マルチモーダル感情分析モデル JCA を拡張し,映像音声クリップ毎に共同感情ラベルを導出することにより,JCA-SI (Joint Cross Attention-based Sentiment Inference) というモジュールを開発する。
論文 参考訳（メタデータ） (2024-02-06T03:14:46Z) - This joke is [MASK]: Recognizing Humor and Offense with Prompting [9.745213455946324]
風は日々の人間との交流やコミュニケーションにおいて磁気的要素である。
ユーモア認識のためのNLPの新しい伝達学習パラダイムであるプロンプトの有効性について検討する。
論文 参考訳（メタデータ） (2022-10-25T13:02:45Z) - ExPUNations: Augmenting Puns with Keywords and Explanations [88.58174386894913]
我々は、キーワードの詳細なクラウドソースアノテーションで既存の句のデータセットを拡張する。
これは、パント専用の広範囲できめ細かなアノテーションを備えた最初のユーモアデータセットである。
句分類支援のための説明生成とキーワード条件付き句生成という2つのタスクを提案する。
論文 参考訳（メタデータ） (2022-10-24T18:12:02Z) - Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
風は人間の社会的行動、感情、認知の重要な要素である。
現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。
約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
論文 参考訳（メタデータ） (2022-09-28T17:36:47Z) - Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks
from The New Yorker Caption Contest [70.40189243067857]
大きめのニューラルネットワークがジョークを生成できるようになったが、本当にユーモアを「理解」しているのだろうか?
私たちは、New Yorker Cartoon Caption Contestから派生した3つのタスクでAIモデルに挑戦します。
どちらのモデルも3つのタスクすべてで苦労しています。
論文 参考訳（メタデータ） (2022-09-13T20:54:00Z) - M2H2: A Multimodal Multiparty Hindi Dataset For Humor Recognition in
Conversations [72.81164101048181]
テレビシリーズ『Shrimaan Shrimati Phir Se』の13話から6,191発の発声を含む会話におけるマルチモーダル・マルチパーティ・ヒンディー・ヒューム(M2H2)認識のためのデータセットを提案する。
それぞれの発話はユーモア/非感情ラベルでアノテートされ、音響、視覚、テキストのモダリティを含む。
M2H2データセットにおける実験結果から,マルチモーダル情報はユーモア認識のための単調な情報を補完することが示された。
論文 参考訳（メタデータ） (2021-08-03T02:54:09Z) - DeHumor: Visual Analytics for Decomposing Humor [36.300283476950796]
公言におけるユーモラスな行動を分析する視覚システムであるDeHumorを開発した。
それぞれの具体例の構成要素を直感的に明らかにするために、DeHumorはユーモラスな動画をマルチモーダルな特徴に分解する。
DeHumorはユーモアのユーモアの例として、さまざまなビルディングブロックをハイライトすることができる。
論文 参考訳（メタデータ） (2021-07-18T04:01:07Z) - Federated Learning with Diversified Preference for Humor Recognition [40.89453484353102]
We propose the FedHumor approach to recognize humorous text contents in a Personal manner through federated learning (FL)。
様々なユーモア嗜好を持つ人々に対して、FedHumorのユーモア内容の正確な認識において、9つの最先端ユーモア認識アプローチと比較して、実験は大きな利点を示す。
論文 参考訳（メタデータ） (2020-12-03T03:24:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。