論文の概要: Clinically Structured Surrogate Rewards for Post-SFT Medical Image Captioning
- arxiv url: http://arxiv.org/abs/2608.18654v1
- Date: Wed, 19 Aug 2026 08:00:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.326155
- Title: Clinically Structured Surrogate Rewards for Post-SFT Medical Image Captioning
- Title（参考訳）: SFT後の医用画像キャプションのための臨床構造的サロゲートリワード
- Abstract要約: 本研究では,SFT後の医用画像キャプションのための臨床構造的サロゲート報酬枠組を提案する。
このフレームワークは、バイオメディカルセマンティクスと短距離語彙の忠実度を2つの構造化された報酬と組み合わせている。
構成された報酬は相補的な信号を提供し、画像近傍のばらつきを低減し、エンティティ・アサーション・リレーションの整合性を改善する。
- 参考スコア（独自算出の注目度）: 11.868064182311462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical image captioning requires translating heterogeneous visual evidence into concise clinical descriptions, where errors in findings, assertion states, or anatomical relations can alter clinical meaning despite surface-level fluency. Sequence-level policy optimization can directly optimize complete captions, but common rewards rely on global text similarity, direct image-caption compatibility, or unordered concept overlap, leaving visual neighborhoods and clinical-claim structure implicit. We propose a clinically structured surrogate reward framework for post-SFT medical image captioning. The framework combines biomedical semantic and short-range lexical fidelity with two structured rewards: distributional image-neighborhood alignment, which matches the medical-image-bank distributions induced by reference and generated captions, and clinical graph consistency, which applies maximum-weight one-to-one matching to entities, assertion states, and typed relations. The four rewards are independently normalized within each rollout group, combined with fixed relative weights, and optimized with GDPO. Across organizer-evaluated hidden test sets for the Standard and Synthetical ImageCLEFmedical Caption tracks and three vision-language backbones, the method improves Overall, Relevance, and Factuality over matched SFT baselines in all six backbone-track combinations, with average relative gains of 3.4%, 2.1%, and 5.8%, respectively. Ablations and paired diagnostics indicate that the structured rewards provide complementary signals, reducing image-neighborhood divergence and improving entity-assertion-relation consistency.
- Abstract（参考訳）: 医用画像のキャプションでは、表面の拡散にもかかわらず、発見、主張状態、解剖学的関係が臨床的意味を変化させる、簡潔な臨床的記述に異質な視覚的証拠を翻訳する必要がある。
シーケンスレベルのポリシー最適化は、完全なキャプションを直接最適化することができるが、一般的な報酬は、グローバルテキストの類似性、直接のイメージ・キャプションの互換性、あるいは順序のない概念の重複に依存しており、視覚的な地区や臨床的評価の構造は暗黙的に残されている。
本研究では,SFT後の医用画像キャプションのための臨床構造的サロゲート報酬枠組を提案する。
このフレームワークは、バイオメディカルセマンティクスと短距離語彙の忠実さを、参照および生成されたキャプションによって誘導される医療・画像バンク分布に一致する分布画像近傍アライメントと、エンティティ、アサーション状態、型付き関係に最大1対1のマッチングを適用する臨床グラフ一貫性の2つの構造化された報酬と組み合わせる。
4つの報酬は各ロールアウトグループ内で独立に正規化され、固定相対重みが組み合わされ、GDPOに最適化される。
オーガナイザによって評価された、標準と合成のイメージCLEFmedical Captionトラックと3つの視覚言語バックボーンの隠れテストセットは、それぞれ3.4%、2.1%、および5.8%の相対的なゲインを持つ6つのバックボーン-トラックの組み合わせにおいて、一致したSFTベースラインに対する総合的、関連性、ファクチュアリティを改善している。
アブレーションとペア診断は、構造化された報酬が相補的な信号を提供し、画像近傍のばらつきを減らし、エンティティ・アサーション・リレーションの整合性を改善することを示唆している。
関連論文リスト
- Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment [10.863931022237757]
本稿では,トレーニング時間アライメントと推論時間アライメントを分離し,強化することにより臨床アライメントを強化する枠組みを提案する。
医用画像キャプションパイプラインを構築し,BioMedCLIPとSigLIP2,Q-Former,LLaMAをベースとしたデコーダを併用する。
複数エンコーダの設計と概念レベルの補助学習による相補的な視覚表現は臨床的に意味のある情報を保存するのに役立つことを示す実験である。
論文 参考訳（メタデータ） (2026-08-20T09:25:30Z) - Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs [53.697403481143404]
LVLM(Large Vision-Language Models)は、医用画像処理タスクにおいて強力なパフォーマンスを実現している。
しかし、実際の不整合、視力の低下、臨床的に有意義なフィードバックによる不一致が続く傾向にある。
論文 参考訳（メタデータ） (2026-06-10T18:35:36Z) - CRAFT: Clinical Reward-Aligned Finetuning for Medical Image Synthesis [9.138093654971831]
臨床アライメントのための基礎モデルに基づくプロキシである臨床アライメントスコア(CAS)を紹介した。
報酬に基づく適応フレームワークであるCRAFTを提案する。
CRAFTは、強力な適応ベースラインよりもCASと下流分類性能を向上する。
論文 参考訳（メタデータ） (2026-05-12T18:56:34Z) - FL-MedSegBench: A Comprehensive Benchmark for Federated Learning on Medical Image Segmentation [57.930067699003764]
Federated Learning (FL)は、生データを共有せずに、協調的な医療画像分析のためのプライバシー保護パラダイムを提供する。
FL-MedSegBenchは,医用画像セグメンテーションにおけるフェデレーション学習のための総合的なベンチマークである。
汎用FL(gFL)法とパーソナライズFL(pFL)法を多次元にわたって体系的に評価した。
論文 参考訳（メタデータ） (2026-03-12T08:28:41Z) - TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation [56.09179939570486]
本稿では,パラメータ効率,タスク固有適応に着目したCLIPベースのフレームワークであるTGC-Netを提案する。
TGC-Netは、挑戦的なベンチマークで顕著なDiceゲインを含む、トレーニング可能なパラメータをかなり少なくして、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-24T12:06:26Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Multi-Level CLS Token Fusion for Contrastive Learning in Endoscopy Image Classification [2.5995006632251516]
ENT内視鏡画像解析に適した統合視覚言語フレームワークを提案する。
同時に、画像分類、画像から画像への検索、テキストから画像への検索の3つの臨床的タスクに取り組む。
95%の精度とF1スコア,画像画像検索用Recall@1,画像画像検索用0.93,テキスト画像検索用0.92,MRRスコア0.97,0.96。
論文 参考訳（メタデータ） (2025-08-31T09:03:39Z) - IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.04212780946932]
階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。
このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
論文 参考訳（メタデータ） (2023-10-11T10:12:43Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳（メタデータ） (2023-06-03T11:50:44Z) - SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ
Histopathology Image Synthesis [63.845552349914186]
本研究では,異なる臓器に対して,現実的な色分布とテクスチャを合成するためのスタイル誘導型インスタンス適応正規化(SIAN)を提案する。
4つのフェーズは一緒に動作し、生成ネットワークに統合され、イメージセマンティクス、スタイル、インスタンスレベルのバウンダリを埋め込む。
論文 参考訳（メタデータ） (2022-09-02T16:45:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。