論文の概要: Rule-driven News Captioning

• arxiv url: http://arxiv.org/abs/2403.05101v2
• Date: Mon, 11 Mar 2024 04:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:21:24.768026
• Title: Rule-driven News Captioning
• Title（参考訳）: ルール駆動ニュースキャプション
• Authors: Ning Xu, Tingting Zhang, Hongshuo Tian, An-An Liu
• Abstract要約: ニュースキャプションタスクは、そのニュース記事で画像のための名前付きエンティティや具体的なイベントを記述することによって、文を生成することを目的としている。 既存の手法は、大規模な事前訓練モデルに依存することで、顕著な成果を上げている。 指定されたルール信号に従って画像記述を生成できるルール駆動型ニュースキャプション手法を提案する。
• 参考スコア（独自算出の注目度）: 36.20950294461819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: News captioning task aims to generate sentences by describing named entities or concrete events for an image with its news article. Existing methods have achieved remarkable results by relying on the large-scale pre-trained models, which primarily focus on the correlations between the input news content and the output predictions. However, the news captioning requires adhering to some fundamental rules of news reporting, such as accurately describing the individuals and actions associated with the event. In this paper, we propose the rule-driven news captioning method, which can generate image descriptions following designated rule signal. Specifically, we first design the news-aware semantic rule for the descriptions. This rule incorporates the primary action depicted in the image (e.g., "performing") and the roles played by named entities involved in the action (e.g., "Agent" and "Place"). Second, we inject this semantic rule into the large-scale pre-trained model, BART, with the prefix-tuning strategy, where multiple encoder layers are embedded with news-aware semantic rule. Finally, we can effectively guide BART to generate news sentences that comply with the designated rule. Extensive experiments on two widely used datasets (i.e., GoodNews and NYTimes800k) demonstrate the effectiveness of our method.
• Abstract（参考訳）: ニュースキャプションタスクは、ニュース記事と共に画像に名前付きエンティティや具体的なイベントを記述することによって、文章を生成することを目的としている。 既存の手法は、入力されたニュースコンテンツと出力予測との相関に主に焦点をあてる大規模な事前学習モデルに頼ることで、目覚ましい結果を得た。 しかし、ニュースキャプションは、イベントに関連する個人やアクションを正確に記述するなど、ニュースレポートの基本的な規則に従う必要がある。 本稿では,指定された規則信号に従って画像記述を生成できるルール駆動ニュースキャプション手法を提案する。 具体的には、まず、記述のためのニュース対応セマンティックルールを設計する。 このルールには、画像に描かれた主要なアクション(例えば「パフォーマンス」)と、アクションに関与する名前付きエンティティ(例えば「エージェント」や「プレース」)によって演じられる役割が含まれる。 次に,複数のエンコーダ層にニュース対応セマンティックルールを組み込むプレフィックスチューニング戦略により,このセマンティックルールを大規模事前学習モデルであるBARTに注入する。 最後に、BARTを効果的に誘導し、指定された規則に従うニュース文を生成する。 広く使われている2つのデータセット(GoodNewsとNYTimes800k)に対する大規模な実験は、我々の方法の有効性を実証している。

関連論文リスト

• Visually-Aware Context Modeling for News Image Captioning [54.31708859631821]
  News Image Captioningは、ニュース記事や画像からキャプションを作成することを目的としている。 より優れた名前埋め込みを学習するための顔命名モジュールを提案する。 私たちはCLIPを使用して、画像にセマンティックに近い文を検索します。
  論文  参考訳（メタデータ） (2023-08-16T12:39:39Z)
• Focus! Relevant and Sufficient Context Selection for News Image Captioning [69.36678144800936]
  News Image Captioningは、ニュース記事から追加のコンテキストを活用することで、画像を記述する必要がある。 本稿では,事前学習された視覚・言語検索モデルであるCLIPを用いて,ニュース記事中の視覚的根拠を持つエンティティをローカライズすることを提案する。 我々の実験は、記事からより良いコンテキストを選択するだけで、既存のモデルの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2022-12-01T20:00:27Z)
• Journalistic Guidelines Aware News Image Captioning [8.295819830685536]
  ニュース記事画像キャプションは、ニュース記事画像の記述的および情報的キャプションを生成することを目的としている。 一般的に画像の内容を記述する従来の画像キャプションとは異なり、ニュースキャプションは画像の内容を記述するために名前付きエンティティに大きく依存する。 本稿では,ジャーナリストが追従するキャプションガイドラインによって動機付けられた,この課題に対する新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-07T04:49:50Z)
• ICECAP: Information Concentrated Entity-aware Image Captioning [41.53906032024941]
  本稿では,情報キャプションを生成するために,エンティティを意識したニュース画像キャプションタスクを提案する。 本モデルではまず,モーダリティ検索モデルを用いて関連文の粗い濃度を生成する。 BreakingNewsとGoodNewsの両方の実験では,提案手法の有効性が示されている。
  論文  参考訳（メタデータ） (2021-08-04T13:27:51Z)
• MOC-GAN: Mixing Objects and Captions to Generate Realistic Images [21.240099965546637]
  より合理的な設定を導入し、オブジェクトやキャプションからリアルなイメージを生成します。 この設定では、オブジェクトはターゲットイメージにおける重要な役割を明示的に定義し、キャプションは、そのリッチな属性とコネクションを暗黙的に記述する。 2つのモードの入力を混合して現実的な画像を生成するMOC-GANを提案する。
  論文  参考訳（メタデータ） (2021-06-06T14:04:07Z)
• LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification [70.1903083747775]
  本稿では,新聞記事におけるプロパガンダ・スパン識別の課題について述べる。 本稿では,BERT-BiLSTMに基づくプロパガンダ分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-11T16:14:47Z)
• Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection [139.3415751957195]
  本稿では,ニュース記事中のプロパガンダ的テキスト断片の検出について検討する。 本稿では,詳細なプロパガンダ手法の宣言的知識を注入する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-29T13:46:15Z)
• Hierarchical Image Classification using Entailment Cone Embeddings [68.82490011036263]
  まずラベル階層の知識を任意のCNNベースの分類器に注入する。 画像からの視覚的セマンティクスと組み合わせた外部セマンティクス情報の利用が全体的な性能を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-02T10:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。