論文の概要: Humor in AI: Massive Scale Crowd-Sourced Preferences and Benchmarks for Cartoon Captioning

• arxiv url: http://arxiv.org/abs/2406.10522v2
• Date: Wed, 18 Dec 2024 05:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:19.518997
• Title: Humor in AI: Massive Scale Crowd-Sourced Preferences and Benchmarks for Cartoon Captioning
• Title（参考訳）: AIの噂 - 大規模なクラウドソースの選好とカートゥーンキャプションのベンチマーク
• Authors: Jifan Zhang, Lalit Jain, Yang Guo, Jiayi Chen, Kuan Lok Zhou, Siddharth Suresh, Andrew Wagenmaker, Scott Sievert, Timothy Rogers, Kevin Jamieson, Robert Mankoff, Robert Nowak,
• Abstract要約: 本稿では,220万以上のキャプションに2億5000万以上の人間格付けを含む,創造的なタスクのための新しいマルチモーダル選好データセットを提案する。 我々は,GPT4と人的判断の両方を用いて,モデル生成キャプションの品質を判定するための新しいベンチマークを提案する。 この広範なデータ収集の取り組みを締めくくると、私たちは研究コミュニティに選好データセット全体を公開します。
• 参考スコア（独自算出の注目度）: 20.94770789330012
• License:
• Abstract: We present a novel multimodal preference dataset for creative tasks, consisting of over 250 million human ratings on more than 2.2 million captions, collected through crowdsourcing rating data for The New Yorker's weekly cartoon caption contest over the past eight years. This unique dataset supports the development and evaluation of multimodal large language models and preference-based fine-tuning algorithms for humorous caption generation. We propose novel benchmarks for judging the quality of model-generated captions, utilizing both GPT4 and human judgments to establish ranking-based evaluation strategies. Our experimental results highlight the limitations of current fine-tuning methods, such as RLHF and DPO, when applied to creative tasks. Furthermore, we demonstrate that even state-of-the-art models like GPT4 and Claude currently underperform top human contestants in generating humorous captions. As we conclude this extensive data collection effort, we release the entire preference dataset to the research community, fostering further advancements in AI humor generation and evaluation.
• Abstract（参考訳）: 我々は、過去8年間にThe New Yorkerの週刊漫画キャプションコンテストのクラウドソーシングによる評価データから、220万のキャプションに2億5000万以上の人間格付けからなる、クリエイティブなタスクのための新しいマルチモーダルな選好データセットを提示する。 このユニークなデータセットは、ユーモラスキャプション生成のためのマルチモーダルな大規模言語モデルと嗜好に基づく微調整アルゴリズムの開発と評価を支援する。 モデル生成キャプションの品質を判定するための新しいベンチマークを提案し、GPT4と人的判断の両方を利用してランキングベースの評価戦略を確立する。 本稿では,RLHF や DPO などの既存の微調整手法の限界を創造的タスクに適用した場合に強調する。 さらに、GPT4やClaudeのような最先端のモデルでさえ、ユーモラスなキャプションを生成する上で、現在トップヒューマンコンテストの成績が低いことを実証した。 この広範なデータ収集の取り組みを締めくくると、私たちは研究コミュニティに選好データセットを公開し、AIユーモアの生成と評価のさらなる進歩を促進します。

関連論文リスト

• Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
  きめ細かい評価のための新しいアプローチを導入する。 テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。 きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
  論文  参考訳（メタデータ） (2024-10-16T09:42:29Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Benchmarking and Improving Detail Image Caption [12.078715675876674]
  視覚言語モデル (LVLM) は視覚理解の基本的な課題とされてきた。 本稿では,人間専門家が注釈付けした高品質な評価データセットをキュレートすることで,詳細な画像キャプションタスクのベンチマークを行う。 また、CAPTUREと呼ばれるより信頼性の高いキャプション評価指標も設計する。
  論文  参考訳（メタデータ） (2024-05-29T13:54:12Z)
• FlashEval: Towards Fast and Accurate Evaluation of Text-to-image Diffusion Generative Models [28.44922164328789]
  テキストから画像への生成モデルの評価は、開発プロセスにおける重要なステップである。 データ選択の評価に適した反復探索アルゴリズムであるFlashEvalを提案する。 検索した50-itemサブセットは,COCOアノテーションのランダムサンプリング500-itemサブセットに匹敵する評価精度が得られた。
  論文  参考訳（メタデータ） (2024-03-25T02:53:32Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• FigCaps-HF: A Figure-to-Caption Generative Framework and Benchmark with Human Feedback [31.230023678131843]
  FigCaps-HFは、新しいフィギュアキャプション生成フレームワークである。 本フレームワークは,1) 図形選択ペアの品質を評価するための自動手法,2) 人物フィードバックを用いた新しい強化学習(RLHF) により,読取者の好みに応じて生成図形選択モデルを最適化する。
  論文  参考訳（メタデータ） (2023-07-20T13:40:22Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。