論文の概要: Fine-Grained Food Image Understanding via Target-Aware Data Alignment

• arxiv url: http://arxiv.org/abs/2607.25794v1
• Date: Tue, 28 Jul 2026 14:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.872627
• Title: Fine-Grained Food Image Understanding via Target-Aware Data Alignment
• Title（参考訳）: ターゲット認識データアライメントによる細粒食品画像の理解
• Abstract要約: 食品の詳細な記述と認識のためのデータ中心型マルチモーダルアライメント手法を提案する。 提案手法はまず,視覚的に関連のあるトレーニングサブセットを識別するためのターゲット認識データ選択を行い,VLMに基づくキャプションの改良により,視覚的に接地したターゲットスタイルの記述を生成する。
• 参考スコア（独自算出の注目度）: 7.633051255808158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained food visual--semantic understanding requires models to capture subtle distinctions across ingredients, cooking methods, doneness, color, texture, and plate composition. Although CLIP-style vision-language models provide a natural framework for this task, their effectiveness is limited when training relies on heterogeneous web-collected image--text pairs. Such data often exhibit a web-to-target domain gap and cross-modal misalignment, where images differ from the target distribution and captions are noisy, multilingual, or weakly grounded in visual content. We propose a data-centric multimodal alignment method for fine-grained food description and recognition. Our method first performs target-aware data selection to identify visually relevant training subsets, then applies VLM-based caption refinement to generate visually grounded, target-style descriptions. Using these curated image--caption pairs, we train complementary CLIP-style retrieval experts and further combine their decisions through a hierarchical VLM-assisted multi-expert decision-level fusion strategy that invokes the VLM only when experts disagree. Experiments show that our data refinement strategy significantly improves retrieval performance over naive web supervision, with VLM-based caption refinement alone yielding an average performance gain of approximately 19%. Our full method also achieves more than twice the retrieval score of pure VLM-based retrieval while remaining substantially more efficient.
• Abstract（参考訳）: きめ細かい食品の視覚的理解は、材料、調理方法、加工方法、色、テクスチャ、および板の組成を微妙に区別するモデルを必要とする。 CLIPスタイルの視覚言語モデルは、このタスクの自然なフレームワークを提供するが、トレーニングがヘテロジニアスなWebコンパイルイメージ-テキストペアに依存する場合、その効果は制限される。 このようなデータは、Webからターゲットへのドメインギャップや、ターゲットの分布と画像の相違、キャプションのノイズ、多言語性、視覚的内容の弱さといった、モダル間のミスアライメントを示すことが多い。 食品の詳細な記述と認識のためのデータ中心型マルチモーダルアライメント手法を提案する。 提案手法はまず,視覚的に関連のあるトレーニングサブセットを識別するためのターゲット認識データ選択を行い,VLMに基づくキャプションの改良により,視覚的に接地したターゲットスタイルの記述を生成する。 これらの画像キャプチャーペアを用いて、相補的なCLIPスタイルの検索専門家を訓練し、また、専門家が同意しない場合にのみVLMを起動する階層的なVLM支援マルチ専門家による意思決定レベル融合戦略を通じて、それらの決定を組み合わせます。 実験の結果,VLMを用いたキャプションの改良だけで平均19%の性能向上が得られた。 また,本手法は,完全VLM検索の2倍以上の効率を保ちながら,より効率的な検索を実現する。

関連論文リスト

• LLMs-based Augmentation for Domain Adaptation in Long-tailed Food Datasets [54.527878056610156]
  食品認識におけるこれらの課題に対処するために,大規模言語モデル(LLM)を用いた枠組みを提案する。 まず LLM を利用して食品イメージを解析し,食品のタイトルや材料を生成する。 そして、生成したテキストと食品の画像を異なるドメインから共有埋め込み空間に投影し、ペアの類似性を最大化する。
  論文  参考訳（メタデータ） (2025-11-20T04:38:56Z)
• Adding simple structure at inference improves Vision-Language Compositionality [15.785274903236663]
  本稿では,イメージとキャプションが与えられた場合,イメージを小さな作物に分割する,推論時に単純な構造を加えることを提案する。 提案手法は,評価された視覚言語モデルの性能をトレーニングなしで継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-11T13:06:25Z)
• Image Embedding Sampling Method for Diverse Captioning [2.705107928847026]
  本研究では,異なる画像領域に明示的に参加することで,キャプションの多様性と情報提供性を向上する学習自由フレームワークを提案する。 提案手法は,画像キャプションのアライメント,セマンティックな整合性,多様性の観点から,より大規模なモデルに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-02-14T12:33:19Z)
• DiffCLIP: Few-shot Language-driven Multimodal Classifier [19.145645804307566]
  DiffCLIPはContrastive Language-Image Pretrainingを拡張する新しいフレームワークである。 高次元マルチモーダルリモートセンシング画像の正確な分類のための包括的言語駆動意味情報を提供する。 DiffCLIPはCLIPと比較して3つのリモートセンシングデータセットで10.65%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-12-10T02:21:39Z)
• Ranking-aware adapter for text-driven image ordering with CLIP [76.80965830448781]
  本稿では,CLIPモデルを学習からランクへのタスクに再構成する,効率的かつ効率的な手法を提案する。 我々のアプローチは、ランキングの目的のために新しい指示に適応するための学習可能なプロンプトを取り入れている。 私たちのランキングアウェアアダプタは、様々なタスクにおいて微調整されたCLIPよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-09T18:51:05Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• ICC: Quantifying Image Caption Concreteness for Multimodal Dataset Curation [36.43428388918294]
  ペア化されたテキストイメージデータのWebスケールトレーニングは、ますますマルチモーダルな学習の中心になりつつある。 標準的なデータフィルタリングアプローチでは、ミスマッチしたテキストイメージペアを削除できない。 画像参照なしで字幕テキストを評価し,その具体性を計測する新しい指標である画像キャプション具体性を提案する。
  論文  参考訳（メタデータ） (2024-03-02T20:36:10Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration [48.01536973731182]
  ROSITAと呼ばれる新しい視覚・言語事前学習手法を提案する。 クロスモーダルとイントラモーダルの知識を統合されたシーングラフに統合し、セマンティックアライメントを強化する。 ROSITAは6つのベンチマークデータセット上での3つの典型的な視覚・言語タスクにおいて、既存の最先端メソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-08-16T13:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。