論文の概要: Paraphrase Acquisition from Image Captions

• arxiv url: http://arxiv.org/abs/2301.11030v1
• Date: Thu, 26 Jan 2023 10:54:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 13:51:31.433058
• Title: Paraphrase Acquisition from Image Captions
• Title（参考訳）: 画像キャプションからのパラフレーズ獲得
• Authors: Marcel Gohsen and Matthias Hagen and Martin Potthast and Benno Stein
• Abstract要約: 本稿では,Web のキャプションをパラフレーズのリソースとして利用することを提案する。 英語のウィキペディアで字幕を解析し、編集者は異なる記事に対してしばしば同じ画像をレバーベットする。 2つの類似性次元に沿った特徴写像を導入し、異なるソースから来るパラフレーズのスタイルを特定する。
• 参考スコア（独自算出の注目度）: 36.94459555199183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose to use captions from the Web as a previously underutilized resource for paraphrases (i.e., texts with the same "message") and to create and analyze a corresponding dataset. When an image is reused on the Web, an original caption is often assigned. We hypothesize that different captions for the same image naturally form a set of mutual paraphrases. To demonstrate the suitability of this idea, we analyze captions in the English Wikipedia, where editors frequently relabel the same image for different articles. The paper introduces the underlying mining technology and compares known paraphrase corpora with respect to their syntactic and semantic paraphrase similarity to our new resource. In this context, we introduce characteristic maps along the two similarity dimensions to identify the style of paraphrases coming from different sources. An annotation study demonstrates the high reliability of the algorithmically determined characteristic maps.
• Abstract（参考訳）: 本稿では,Webのキャプションをパラフレーズ(例えば,同じ「メッセージ」を持つテキスト)の未使用リソースとして利用し,対応するデータセットを作成し,分析することを提案する。 画像がWeb上で再利用されると、しばしばオリジナルのキャプションが割り当てられる。 同じ画像に対して異なるキャプションが自然に相互のパラフレーズの組を形成すると仮定する。 このアイデアの適合性を示すために、英語ウィキペディアのキャプションを分析し、編集者は異なる記事に対して同じイメージを頻繁にリラベルする。 本論文は基礎となる鉱業技術を紹介し,我々の新資源との構文的・意味的類似性について既知のパラフローゼコーパスと比較する。 この文脈では、2つの類似度次元に沿って特徴写像を導入し、異なるソースから来るパラフレーズのスタイルを識別する。 アノテーション研究はアルゴリズムによって決定された特徴写像の信頼性を示す。

関連論文リスト

• Cross-Domain Image Captioning with Discriminative Finetuning [20.585138136033905]
  自己監督的な識別的コミュニケーションの目的を持ったアウト・オブ・ザ・ボックスのニューラルキャプタを微調整することは、プレーンで視覚的に記述された言語を回復するのに役立ちます。 画像識別タスクを担っているヒトのアノテータに対して,Vanilla ClipCapのキャプションや接地木キャプションよりも,識別的に微調整されたキャプションの方が有用であることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:33:16Z)
• Transform, Contrast and Tell: Coherent Entity-Aware Multi-Image Captioning [0.65268245109828]
  コヒーレントエンティティを意識したマルチイメージキャプションは、ニュース文書に隣接する画像のコヒーレントキャプションを生成することを目的としている。 本稿では,コヒーレンス関係を利用して,コヒーレントな実体認識型マルチイメージキャプションモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-04T07:50:31Z)
• Show, Interpret and Tell: Entity-aware Contextualised Image Captioning in Wikipedia [10.21762162291523]
  本稿では,文脈知識を統合することで,ウィキペディア画像のキャプションを行う新しいタスクを提案する。 具体的には、ウィキペディアの記事やウィキメディアの画像、それに付随する記述を共同で推論するモデルを作成します。
  論文  参考訳（メタデータ） (2022-09-21T16:14:15Z)
• The Case for Perspective in Multimodal Datasets [0.9786690381850356]
  FrameNetアノテーションがMulti30kおよびFlickr 30k Entitiesデータセットに適用される一連の実験を示す。 画像のアノテーションとフレームのキャプションの両方から得られた意味表現のコサイン類似性を評価する。
  論文  参考訳（メタデータ） (2022-05-22T18:37:05Z)
• On Distinctive Image Captioning via Comparing and Reweighting [52.3731631461383]
  本稿では,類似画像の集合との比較と再重み付けにより,画像キャプションの特異性を向上させることを目的とする。 MSCOCOデータセットの各画像の人間のアノテーションは、特徴性に基づいて等価ではないことが明らかとなった。 対照的に、以前の研究は通常、トレーニング中に人間のアノテーションを平等に扱う。
  論文  参考訳（メタデータ） (2022-04-08T08:59:23Z)
• Group-based Distinctive Image Captioning with Memory Attention [45.763534774116856]
  GdisCap (Group-based Distinctive Captioning Model) は画像キャプションの特異性を改善する。 キャプションの識別性を測定するために,新しい評価指標DisWordRateを提案する。
  論文  参考訳（メタデータ） (2021-08-20T12:46:36Z)
• NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media [93.51739200834837]
  画像とテキストの両方を操作できないが一致しないデータセットを提案する。 本稿では,字幕に適した画像の自動検索手法をいくつか紹介する。 当社の大規模自動生成NewsCLIPpingsデータセットは、両方のモダリティを共同分析するモデルを必要とします。
  論文  参考訳（メタデータ） (2021-04-13T01:53:26Z)
• Telling the What while Pointing the Where: Fine-grained Mouse Trace and Language Supervision for Improved Image Retrieval [60.24860627782486]
  きめ細かい画像検索は、しばしば、探しているコンテンツがどこにあるかを表現する能力を必要とする。 本稿では,ユーザが音声自然言語(“What”)とマウスが空のキャンバス(“where”)にトレースした画像を同時に記述する画像検索装置について述べる。 我々のモデルは、この空間的ガイダンスを考慮に入れ、テキストのみの等価システムと比較して、より正確な検索結果を提供する。
  論文  参考訳（メタデータ） (2021-02-09T17:54:34Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)
• Compare and Reweight: Distinctive Image Captioning Using Similar Images Sets [52.3731631461383]
  我々は,類似画像の集合を用いた訓練により,画像キャプションの特異性を向上させることを目的としている。 評価基準は,各画像の人的アノテーションが特徴性に基づいて等価でないことを示す。
  論文  参考訳（メタデータ） (2020-07-14T07:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。