論文の概要: Embodied Image Captioning: Self-supervised Learning Agents for Spatially Coherent Image Descriptions
- arxiv url: http://arxiv.org/abs/2504.08531v1
- Date: Fri, 11 Apr 2025 13:41:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:18:02.874276
- Title: Embodied Image Captioning: Self-supervised Learning Agents for Spatially Coherent Image Descriptions
- Title（参考訳）: 身体的画像キャプション:空間的コヒーレントな画像記述のための自己教師型学習エージェント
- Authors: Tommaso Galliena, Tommaso Apicella, Stefano Rosa, Pietro Morerio, Alessio Del Bue, Lorenzo Natale,
- Abstract要約: 既存のキャプションモデルを微調整するための3段階フレームワークを提案する。
まず、エージェントが環境を探索し、ノイズの多い画像キャプチャーペアを収集する。
次に、各オブジェクトインスタンスに対する一貫した擬似カプセルがコンセンサスを介して蒸留される。
最後に、これらの擬似カプセルは、市販のキャプションモデルを微調整するために使用される。
- 参考スコア（独自算出の注目度）: 21.940022070054273
- License:
- Abstract: We present a self-supervised method to improve an agent's abilities in describing arbitrary objects while actively exploring a generic environment. This is a challenging problem, as current models struggle to obtain coherent image captions due to different camera viewpoints and clutter. We propose a three-phase framework to fine-tune existing captioning models that enhances caption accuracy and consistency across views via a consensus mechanism. First, an agent explores the environment, collecting noisy image-caption pairs. Then, a consistent pseudo-caption for each object instance is distilled via consensus using a large language model. Finally, these pseudo-captions are used to fine-tune an off-the-shelf captioning model, with the addition of contrastive learning. We analyse the performance of the combination of captioning models, exploration policies, pseudo-labeling methods, and fine-tuning strategies, on our manually labeled test set. Results show that a policy can be trained to mine samples with higher disagreement compared to classical baselines. Our pseudo-captioning method, in combination with all policies, has a higher semantic similarity compared to other existing methods, and fine-tuning improves caption accuracy and consistency by a significant margin. Code and test set annotations available at https://hsp-iit.github.io/embodied-captioning/
- Abstract（参考訳）: 汎用環境を積極的に探索しながら、任意のオブジェクトを記述する際のエージェントの能力を向上させる自己教師型手法を提案する。
現在のモデルは、異なるカメラ視点と乱雑さのために、コヒーレントな画像キャプションを得るのに苦労しているため、これは難しい問題である。
本稿では,既存のキャプションモデルを微調整し,コンセンサス機構を通じて,ビュー間のキャプション精度と一貫性を向上させる3段階フレームワークを提案する。
まず、エージェントが環境を探索し、ノイズの多い画像キャプチャーペアを収集する。
次に、各オブジェクトインスタンスに対する一貫した擬似カプセルは、大きな言語モデルを使用してコンセンサスを介して蒸留される。
最後に、これらの擬似カプセルは、対照的な学習を加えることで、市販のキャプションモデルを微調整するために使用される。
手動でラベル付けしたテストセット上で、キャプションモデル、探索ポリシー、擬似ラベル付け手法、微調整戦略の組み合わせによる性能の分析を行った。
以上の結果から,古典的基準よりも高い不一致で試料を採掘する政策を訓練できることが示唆された。
疑似カプセル化法は, 従来の手法に比べて意味的類似性が高く, 微調整によりキャプションの精度と一貫性が著しく向上する。
コードとテストセットのアノテーションはhttps://hsp-iit.github.io/embodied-captioning/で入手できる。
関連論文リスト
- Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - DEADiff: An Efficient Stylization Diffusion Model with Disentangled
Representations [64.43387739794531]
現在のエンコーダベースのアプローチは、スタイルの転送中にテキスト・ツー・イメージモデルのテキスト制御性を著しく損なう。
この問題に対処するために、以下の2つの戦略を用いてDEADiffを紹介します。
DeAiffは、テキスト・ツー・イメージモデルに固有のテキスト制御性と、参照画像とスタイルの類似性との間の最適な視覚的スタイリング結果と最適なバランスを得る。
論文 参考訳（メタデータ） (2024-03-11T17:35:23Z) - Improving Image Captioning Descriptiveness by Ranking and LLM-based
Fusion [17.99150939602917]
State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。
本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させる方法を示すことによって,従来の課題に対処する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-06-20T15:13:02Z) - Neighborhood Contrastive Transformer for Change Captioning [80.10836469177185]
本研究では,異なる環境下での様々な変化に対するモデルの知覚能力を向上させるために,近傍のコントラスト変換器を提案する。
提案手法は,変化シナリオの異なる3つの公開データセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-06T14:39:54Z) - Transform, Contrast and Tell: Coherent Entity-Aware Multi-Image
Captioning [0.65268245109828]
コヒーレントエンティティを意識したマルチイメージキャプションは、ニュース文書に隣接する画像のコヒーレントキャプションを生成することを目的としている。
本稿では,コヒーレンス関係を利用して,コヒーレントな実体認識型マルチイメージキャプションモデルを提案する。
論文 参考訳（メタデータ） (2023-02-04T07:50:31Z) - Contrastive Semantic Similarity Learning for Image Captioning Evaluation
with Intrinsic Auto-encoder [52.42057181754076]
自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。
文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。
実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
論文 参考訳（メタデータ） (2021-06-29T12:27:05Z) - MOC-GAN: Mixing Objects and Captions to Generate Realistic Images [21.240099965546637]
より合理的な設定を導入し、オブジェクトやキャプションからリアルなイメージを生成します。
この設定では、オブジェクトはターゲットイメージにおける重要な役割を明示的に定義し、キャプションは、そのリッチな属性とコネクションを暗黙的に記述する。
2つのモードの入力を混合して現実的な画像を生成するMOC-GANを提案する。
論文 参考訳（メタデータ） (2021-06-06T14:04:07Z) - Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
新規な多様な意味的画像合成フレームワークを提案する。
本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
論文 参考訳（メタデータ） (2021-03-11T18:59:25Z) - Intrinsic Image Captioning Evaluation [53.51379676690971]
I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。
実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
論文 参考訳（メタデータ） (2020-12-14T08:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。