論文の概要: Polos: Multimodal Metric Learning from Human Feedback for Image Captioning

• arxiv url: http://arxiv.org/abs/2402.18091v1
• Date: Wed, 28 Feb 2024 06:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 16:03:13.999384
• Title: Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
• Title（参考訳）: Polos:イメージキャプションのためのヒューマンフィードバックからのマルチモーダルメトリック学習
• Authors: Yuiga Wada, Kanta Kaneda, Daichi Saito, Komei Sugiura
• Abstract要約: Polosはイメージキャプションモデルのための教師付き自動評価指標である。 我々は550人の評価者から131Kの人的判断を含むPolarisデータセットを構築した。 提案手法は,Composite, Flickr8K-Expert, Flickr8K-CF, PASCAL-50S, FOIL, およびPolarisデータセット上での最先端性能を達成した。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Establishing an automatic evaluation metric that closely aligns with human judgments is essential for effectively developing image captioning models. Recent data-driven metrics have demonstrated a stronger correlation with human judgments than classic metrics such as CIDEr; however they lack sufficient capabilities to handle hallucinations and generalize across diverse images and texts partially because they compute scalar similarities merely using embeddings learned from tasks unrelated to image captioning evaluation. In this study, we propose Polos, a supervised automatic evaluation metric for image captioning models. Polos computes scores from multimodal inputs, using a parallel feature extraction mechanism that leverages embeddings trained through large-scale contrastive learning. To train Polos, we introduce Multimodal Metric Learning from Human Feedback (M$^2$LHF), a framework for developing metrics based on human feedback. We constructed the Polaris dataset, which comprises 131K human judgments from 550 evaluators, which is approximately ten times larger than standard datasets. Our approach achieved state-of-the-art performance on Composite, Flickr8K-Expert, Flickr8K-CF, PASCAL-50S, FOIL, and the Polaris dataset, thereby demonstrating its effectiveness and robustness.
• Abstract（参考訳）: 画像キャプションモデルの構築には,人間の判断と密接に連携する自動評価指標の確立が不可欠である。 近年のデータ駆動メトリクスは、CIDErのような古典的な指標よりも人間の判断と強い相関性を示しているが、画像キャプション評価とは無関係なタスクから学習した埋め込みを用いてのみスカラー類似性を計算するため、幻覚を処理したり、多様な画像やテキストにまたがって一般化する能力に欠ける。 本研究では,画像キャプションモデルの教師付き自動評価指標であるPoosを提案する。 Polosはマルチモーダル入力からのスコアを計算し、大規模なコントラスト学習を通じてトレーニングされた埋め込みを活用する並列特徴抽出メカニズムを使用する。 Polosをトレーニングするために、人間のフィードバックに基づくメトリクスを開発するためのフレームワークであるM$^2$LHF(Multimodal Metric Learning from Human Feedback)を紹介する。 550のエバリュエータから131kの人的判断を含むpolarisデータセットを構築し,標準データセットの約10倍の大きさとした。 提案手法は,Composite, Flickr8K-Expert, Flickr8K-CF, PASCAL-50S, FOIL, およびPolarisデータセット上での最先端性能を実現し, その有効性と堅牢性を示した。

関連論文リスト

• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• EVALALIGN: Supervised Fine-Tuning Multimodal LLMs with Human-Aligned Data for Evaluating Text-to-Image Models [16.18275805302776]
  本稿では,その精度,安定性,微粒度を特徴とする計量であるEvalAlignを提案する。 画像の忠実度とテキスト画像のアライメントという2つの重要な側面に焦点を当てた評価プロトコルを開発する。 EvalAlignは、既存のメトリクスよりも人間の好みと密に一致し、モデルアセスメントの有効性と有用性を確認している。
  論文  参考訳（メタデータ） (2024-06-24T11:56:15Z)
• Filter & Align: Leveraging Human Knowledge to Curate Image-Text Data [31.507451966555383]
  本稿では、画像テキストアライメントに関する人間の知識を取り入れた新しいアルゴリズムを提案する。 さまざまなソースからの複数のキャプションに各画像が関連付けられている多様な画像テキストデータセットを収集する。 我々は、画像テキストアライメントに関する人間の微妙な理解を内在化するために、これらの人間の参照アノテーションに対する報酬モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-11T05:57:09Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
  VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。 まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。 次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
  論文  参考訳（メタデータ） (2023-04-12T01:20:58Z)
• Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification [5.960550152906609]
  視覚的および言語的類似性を共同で活用することで,ユーザコメントからヒントを抽出する。 分類タスクは教師-学生のフレームワークにおける自己学習を通じて探索され、通常はラベル付きデータスケールに動機づけられる。 その結果,提案手法は従来の最先端モデルの性能をさらに向上させることが示された。
  論文  参考訳（メタデータ） (2023-03-27T08:59:55Z)
• Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation [47.40949434032489]
  画像キャプションのための新しいコントラストベース評価指標,すなわち肯定的拡張コントラスト学習スコア(PAC-S)を提案する。 PAC-Sは、生成した画像とキュレートされたデータにテキストを追加することで、対照的な視覚的意味空間の学習を統一する。 複数のデータセットにまたがる実験により、私たちの新しい測定基準は、画像とビデオの両方で人間の判断と最も高い相関を達成できることが示された。
  論文  参考訳（メタデータ） (2023-03-21T18:03:14Z)
• Pixel-level Correspondence for Self-Supervised Learning from Video [56.24439897867531]
  ピクセルレベルの対応 (PiCo) はビデオから高密度なコントラスト学習を行う方法である。 標準的なベンチマークでPiCoを検証し、複数の高密度予測タスクで自己教師付きベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-07-08T12:50:13Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。