論文の概要: Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion

• arxiv url: http://arxiv.org/abs/2607.25820v1
• Date: Tue, 28 Jul 2026 15:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.87773
• Title: Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion
• Title（参考訳）: LLM誘導イングレディエントラベルとマルチモーダル核融合による食品画像の分離
• Abstract要約: セグメンテーション性能を向上させる2つのプラグアンドプレイマルチモーダルモジュールを提案する。 LIM-FおよびLIM-Qは、視覚分析パイプラインに意味成分情報を注入する。 提案手法は、食品の微細な理解のための実用的でスケーラブルなソリューションを提供する。
• 参考スコア（独自算出の注目度）: 3.8615905456206256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Food image segmentation plays a vital role in health-related applications such as nutrition tracking and personalized health monitoring. However, existing models often underperform on visually similar ingredients and rare food categories. To address this issue, we propose two plug-and-play multimodal modules that enhance the segmentation performance by leveraging ingredient labels inferred from food images using large language models (LLMs). The first module, called LIM-F (Language Injection Module for Features), is designed to pair with any image encoder that produces multi-layer outputs (e.g., Swin Transformer), while the second module, LIM-Q (Language Injection Module for Queries), targets Mask2Former-style Transformer-based decoders. Both modules enable training without the need for pre-aligning images with text by directly injecting semantic ingredient information into the visual analysis pipeline. On the FoodSeg103 benchmark, the proposed method achieves state-of-the-art performance. Specifically, integrating LIM-Q into the Mask2Former decoder with a Swin-L image encoder yields a mean Intersection over Union (mIoU) of 55.0. LIM-F also demonstrates strong generalization and competitive performance, reaching an mIoU of 54.4 under the same model (Swin-L+Mask2Former). Furthermore, its applicability extends beyond Transformer-based decoders, as evidenced by an improvement from 47.7 to 49.8 mIoU when integrated into a CNN-based architecture. Notably, the improved segmentation accuracy is achieved with only a moderate (at most 3.8 GB) increase in the GPU memory consumption during training. Thus, the proposed approach offers a practical and scalable solution for fine-grained food understanding.
• Abstract（参考訳）: 栄養管理やパーソナライズされた健康モニタリングといった健康関連応用において、食品画像のセグメンテーションは重要な役割を担っている。 しかし、既存のモデルは視覚的に類似した材料やまれな食品のカテゴリーでは性能が劣ることが多い。 この問題に対処するため,大型言語モデル(LLM)を用いて食品画像から推定される成分ラベルを活用することにより,セグメンテーション性能を向上させる2つのプラグアンドプレイマルチモーダルモジュールを提案する。 最初のモジュールはLIM-F(Language Injection Module for Features)と呼ばれ、マルチレイヤ出力(例えばSwin Transformer)を生成する任意のイメージエンコーダとペアリングするように設計されており、第2のモジュールであるLIM-Q(Language Injection Module for Queries)はMask2FormerスタイルのTransformerベースのデコーダをターゲットにしている。 どちらのモジュールも、視覚分析パイプラインに直接意味成分情報を注入することで、テキストで画像の事前調整を必要とせずに、トレーニングを可能にする。 FoodSeg103ベンチマークでは,提案手法は最先端の性能を実現する。 特に、LIM-QをMask2FormerデコーダとSwin-L画像エンコーダに統合すると、平均的なmIoU(mIoU)は55.0となる。 LIM-Fは強力な一般化と競争性能を示し、同じモデルで54.4mIoUに達する(Swin-L+Mask2Former)。 さらに、その適用性はトランスフォーマーベースのデコーダを超えて、CNNベースのアーキテクチャに統合されたときに47.7から49.8 mIoUに改善された。 特に、改善されたセグメンテーション精度は、トレーニング中のGPUメモリ消費の適度な増加(最大3.8GB)で達成される。 したがって,提案手法は食品の微細な理解に実用的でスケーラブルなソリューションを提供する。

関連論文リスト

• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• Weakly Supervised Food Image Segmentation using Vision Transformers and Segment Anything Model [45.641643140398735]
  食品画像に対する弱教師付きセマンティックセマンティックセマンティクス手法を提案する。 我々は視覚変換器(ViT)の注意機構とともにSAM(Seegment Anything Model)を用いる。 提案手法は,食品画像のアノテーションタスクを加速するツールとして,あるいは食品・栄養追跡アプリケーションにおいて統合されたコンポーネントとして想定される。
  論文  参考訳（メタデータ） (2025-09-23T14:01:51Z)
• ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
  畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:11:04Z)
• MSDNet: Multi-Scale Decoder for Few-Shot Semantic Segmentation via Transformer-Guided Prototyping [1.1852406625172218]
  少数のアノテーション付きの例だけで、クエリイメージ内のオブジェクトをセグメント化するという課題に、Semanticは対処している。 本稿では,Transformerアーキテクチャに基づく新しいFew-shot Semanticフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:14:03Z)
• MagDiff: Multi-Alignment Diffusion for High-Fidelity Video Generation and Editing [90.06041718086317]
  我々は、高忠実度ビデオ生成と編集の両方のタスクに対して、MagDiffと呼ばれる統合多重配位拡散を提案する。 提案したMagDiffは、主観駆動アライメント、適応プロンプトアライメント、高忠実アライメントを含む3種類のアライメントを導入している。
  論文  参考訳（メタデータ） (2023-11-29T03:36:07Z)
• BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning [88.82371069668147]
  BatchFormerV2はより一般的なバッチトランスフォーマーモジュールである。 BatchFormerV2は、現在のDETRベースの検出方法を1.3%以上改善している。
  論文  参考訳（メタデータ） (2022-04-04T05:53:42Z)
• VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts [46.55920956687346]
  本稿では、デュアルエンコーダとモジュールトランスフォーマーネットワークを用いた融合エンコーダを共同で学習する統合ビジョンランゲージ事前学習モデル(VLMo)を提案する。 MoMEのモデリングの柔軟性のため、事前訓練されたVLMoは、視覚言語分類タスクのための融合エンコーダとして微調整できる。 本稿では,画像とテキストのペアに加えて,大規模画像のみとテキストのみのデータを効果的に活用する,段階的な事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-03T17:20:36Z)
• Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
  TRansformer-based Few-shot Semantic segmentation Method (TRFS) 我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
  論文  参考訳（メタデータ） (2021-08-04T20:09:21Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)
• Prototype Mixture Models for Few-shot Semantic Segmentation [50.866870384596446]
  サポートやクエリ画像内のオブジェクトが外観やポーズで大きく異なる可能性があるため、ショットのセグメンテーションは難しい。 プロトタイプベースセマンティック表現を強制するために,多種多様な画像領域と複数のプロトタイプとの相関関係を持つプロトタイプ混合モデル(PMMs)を提案する。 PMMはMS-COCOの5ショットセグメンテーション性能を最大5.82%改善し、モデルサイズと推論速度の適度なコストに留まった。
  論文  参考訳（メタデータ） (2020-08-10T04:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。