Fugu-MT 論文翻訳(概要): Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning

論文の概要: Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.01696v1
Date: Mon, 02 Mar 2026 10:24:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-03 19:50:56.81336
Title: Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
Title（参考訳）: クロスモーダルアイデンティティマッピング:強化学習によるモダリティ変換における情報損失の最小化
Authors: Haonan Jia, Shichao Dong, Xin Dong, Zenghui Sun, Jin Wang, Jinsong Lan, Xiaoyong Zhu, Bo Zheng, Kaifu Zhang,
Abstract要約: LVLM(Large Vision-Language Models)は、しばしば生成された画像キャプションにおける重要な視覚的内容の省略または誤表現を行う。このような情報損失を最小限に抑えることで、LVLMは正確な記述を生成するために画像の詳細に集中せざるを得なくなる。追加アノテーションを必要とせずに画像キャプションを強化する強化学習フレームワークであるクロスモーダルアイデンティティマッピング(CIM)を提案する。
参考スコア（独自算出の注目度）: 20.275550783343107
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Vision-Language Models (LVLMs) often omit or misrepresent critical visual content in generated image captions. Minimizing such information loss will force LVLMs to focus on image details to generate precise descriptions. However, measuring information loss during modality conversion is inherently challenging due to the modal gap between visual content and text output. In this paper, we argue that the quality of an image caption is positively correlated with the similarity between images retrieved via text search using that caption. Based on this insight, we further propose Cross-modal Identity Mapping (CIM), a reinforcement learning framework that enhances image captioning without requiring additional annotations. Specifically, the method quantitatively evaluates the information loss from two perspectives: Gallery Representation Consistency and Query-gallery Image Relevance. Supervised under these metrics, LVLM minimizes information loss and aims to achieve identity mapping from images to captions. The experimental results demonstrate the superior performance of our method in image captioning, even when compared with Supervised Fine-Tuning. Particularly, on the COCO-LN500 benchmark, CIM achieves a 20% improvement in relation reasoning on Qwen2.5-VL-7B.The code will be released when the paper is accepted.
Abstract（参考訳）: LVLM(Large Vision-Language Models)は、しばしば生成された画像キャプションにおける重要な視覚的内容の省略または誤表現を行う。このような情報損失を最小限に抑えることで、LVLMは正確な記述を生成するために画像の詳細に集中せざるを得なくなる。しかし,モダリティ変換における情報損失の測定は,視覚的内容とテキスト出力とのモード差のため,本質的に困難である。本稿では,画像キャプションの品質が,そのキャプションを用いたテキスト検索によって検索された画像間の類似性と正の相関関係があることを論じる。この知見に基づき、追加アノテーションを必要とせずに画像キャプションを強化する強化学習フレームワークであるクロスモーダルアイデンティティマッピング(CIM)を提案する。具体的には,ギャラリー表現一貫性とクエリガリー画像関連性という,2つの視点からの情報損失を定量的に評価する。これらの指標に基づき、LVLMは情報損失を最小限に抑え、画像からキャプションへのアイデンティティマッピングの実現を目指している。画像キャプションにおける提案手法の性能は,Supervised Fine-Tuningと比較しても優れていた。特にCOCO-LN500ベンチマークでは、CIMはQwen2.5-VL-7Bの関連推論を20%改善している。

関連論文リスト

Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
論文参考訳（メタデータ） (2025-05-26T08:36:10Z)
Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
論文参考訳（メタデータ） (2024-12-20T01:37:22Z)
Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
論文参考訳（メタデータ） (2024-12-11T18:37:42Z)
Bridging the Visual Gap: Fine-Tuning Multimodal Models with Knowledge-Adapted Captions [31.637204677787576]
我々は、モデルの既存の知識と視覚的理解でトレーニングデータを自動的に適応するデータ中心のアプローチである、知識適応(KnowAda)ファインチューニングを導入する。 KnowAdaは、高い記述性を維持しながら幻覚を最小限にする。以上の結果から,KnowAdaは自動測定と人的評価の両方において,様々なベースラインを上回ります。
論文参考訳（メタデータ） (2024-11-13T20:50:04Z)
The Solution for the ICCV 2023 1st Scientific Figure Captioning Challenge [19.339645217996235]
本稿では,紙の数字に対して生成されたキャプションの品質を改善するためのソリューションを提案する。最終テストでは4.49点で1位にランクインした。
論文参考訳（メタデータ） (2024-03-26T03:03:50Z)
Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
論文参考訳（メタデータ） (2024-01-04T16:43:46Z)
Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
論文参考訳（メタデータ） (2023-10-09T07:31:44Z)
Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion [8.526212812623202]
State-of-The-Art (SoTA)イメージキャプションモデルは、しばしばMicroSoft Common Objects in Contextデータセットでトレーニングされる。本稿では,異なるSoTAキャプションモデルから生成されたキャプションを組み合わせて,よりリッチで情報性の高いキャプションを生成する手法を提案する。
論文参考訳（メタデータ） (2023-06-20T15:13:02Z)
FuseCap: Leveraging Large Language Models for Enriched Fused Image Captions [11.274127953112574]
本稿では,「凍った」視覚専門家を用いて,既存のキャプションを視覚的詳細で拡張するための自動アプローチを提案する。提案手法であるFuseCapは,そのような視覚専門家の出力を,大規模言語モデルを用いて原文のキャプションと融合する。私たちはこの大規模な画像キャプチャーペアのデータセットをコミュニティ向けにリリースします。
論文参考訳（メタデータ） (2023-05-28T13:16:03Z)
Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
論文参考訳（メタデータ） (2021-10-09T02:53:39Z)
Intrinsic Image Captioning Evaluation [53.51379676690971]
I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
論文参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。