Fugu-MT 論文翻訳(概要): Updating CLIP to Prefer Descriptions Over Captions

論文の概要: Updating CLIP to Prefer Descriptions Over Captions

arxiv url: http://arxiv.org/abs/2406.09458v1
Date: Wed, 12 Jun 2024 20:24:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 17:44:16.398252
Title: Updating CLIP to Prefer Descriptions Over Captions
Title（参考訳）: キャプション上の記述を優先するためのCLIPの更新
Authors: Amir Zur, Elisa Kreiss, Karel D'Oosterlinck, Christopher Potts, Atticus Geiger,
Abstract要約: 私たちはCLIPモデルを更新し、キャプションよりも高いスコアを記述に割り当てる。このモデルは、移動能力を維持しながら盲人や低ビジョンの人々の判断と相関する。
参考スコア（独自算出の注目度）: 21.909877614471178
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although CLIPScore is a powerful generic metric that captures the similarity between a text and an image, it fails to distinguish between a caption that is meant to complement the information in an image and a description that is meant to replace an image entirely, e.g., for accessibility. We address this shortcoming by updating the CLIP model with the Concadia dataset to assign higher scores to descriptions than captions using parameter efficient fine-tuning and a loss objective derived from work on causal interpretability. This model correlates with the judgements of blind and low-vision people while preserving transfer capabilities and has interpretable structure that sheds light on the caption--description distinction.
Abstract（参考訳）: CLIPScoreは、テキストと画像の類似性をキャプチャする強力な汎用メトリックであるが、画像内の情報を補完するキャプションと、アクセシビリティのために画像を完全に置き換えるための説明とを区別することができない。本稿では,CLIPモデルをConcadiaデータセットで更新し,パラメータ効率のよい微調整と因果解釈性に基づく損失目標を用いたキャプションよりも高いスコアを記述に割り当てることによって,この問題に対処する。このモデルは,移動能力を維持しつつ,視覚障害者の判断と相関し,キャプションの区別に光を当てる解釈可能な構造を有する。

関連論文リスト

FiGCLIP: Fine-Grained CLIP Adaptation via Densely Annotated Videos [19.08882495584709]
セマンティックな特性を損なうことなく,CLIPの細粒度・統語能力を高めることが可能であることを示す。私たちは、高品質で包括的で比較的小さなデータセットにCLIPを効率的に適用します。我々は、細部指向のセマンティック理解を保った強力な視覚表現であるファイングラインドCLIP(FiGCLIP)を学習する。
論文参考訳（メタデータ） (2024-01-15T13:27:34Z)
Interpreting CLIP's Image Representation via Text-Based Decomposition [73.54377859089801]
CLIP画像エンコーダは,個々のモデルコンポーネントが最終表現にどう影響するかを解析することによって検討する。画像表現は、個々の画像パッチ、モデル層、アテンションヘッドにまたがる和として分解する。この理解を利用して、CLIPからスプリケートな機能を取り除き、強力なゼロショットイメージセグメンタを作成します。
論文参考訳（メタデータ） (2023-10-09T17:59:04Z)
Simple Token-Level Confidence Improves Caption Correctness [117.33497608933169]
Token-Level Confidence(TLC)は、字幕の正確さを評価するシンプルな方法であるが、驚くほど効果的である。画像キャプションに関する視覚言語モデルを微調整し、画像と提案されたキャプションをモデルに入力し、単語やシーケンスに対するトークンの信頼度を集計し、画像キャプションの一貫性を推定する。
論文参考訳（メタデータ） (2023-05-11T17:58:17Z)
Cross-Domain Image Captioning with Discriminative Finetuning [20.585138136033905]
自己監督的な識別的コミュニケーションの目的を持ったアウト・オブ・ザ・ボックスのニューラルキャプタを微調整することは、プレーンで視覚的に記述された言語を回復するのに役立ちます。画像識別タスクを担っているヒトのアノテータに対して,Vanilla ClipCapのキャプションや接地木キャプションよりも,識別的に微調整されたキャプションの方が有用であることを示す。
論文参考訳（メタデータ） (2023-04-04T09:33:16Z)
Stacked Cross-modal Feature Consolidation Attention Networks for Image Captioning [1.4337588659482516]
本稿では,高レベルなセマンティック概念と視覚情報を統合するための特徴合成手法を利用する。画像キャプションのための重畳型クロスモーダル特徴統合(SCFC)アテンションネットワークを提案し,同時にクロスモーダル特徴を集約する。提案したSCFCは、MSCOCOとFlickr30Kデータセットの一般的な指標から、様々な最先端の画像キャプションベンチマークを上回ります。
論文参考訳（メタデータ） (2023-02-08T09:15:09Z)
Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
学習した表現の一般化性を低減することにより,データセットのバイアスが事前学習に悪影響を及ぼすことを示す。実験では、この単純な手法により、ゼロショット画像認識精度が向上し、画像レベルの分布シフトに対するロバスト性が向上することを示した。
論文参考訳（メタデータ） (2022-06-02T16:12:26Z)
Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
論文参考訳（メタデータ） (2022-05-26T02:46:09Z)
No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
論文参考訳（メタデータ） (2022-04-11T07:16:39Z)
Intrinsic Image Captioning Evaluation [53.51379676690971]
I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
論文参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。