Fugu-MT 論文翻訳(概要): VolETA: One- and Few-shot Food Volume Estimation

論文の概要: VolETA: One- and Few-shot Food Volume Estimation

arxiv url: http://arxiv.org/abs/2407.01717v1
Date: Mon, 1 Jul 2024 18:47:15 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 19:32:46.345406
Title: VolETA: One- and Few-shot Food Volume Estimation
Title（参考訳）: VolETA:一発数と数発の食品量推定
Authors: Ahmad AlMughrabi, Umair Haroon, Ricardo Marques, Petia Radeva,
Abstract要約: 本稿では,3次元生成技術を用いた食品量推定手法であるVolETAについて述べる。当社のアプローチでは,1枚または数枚のRGBD画像を用いて,食品の3Dメッシュをスケールアップする。 MTFデータセットを用いて10.97%のMAPEを用いて、ロバストで正確なボリューム推定を行う。
参考スコア（独自算出の注目度）: 4.282795945742752
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Accurate food volume estimation is essential for dietary assessment, nutritional tracking, and portion control applications. We present VolETA, a sophisticated methodology for estimating food volume using 3D generative techniques. Our approach creates a scaled 3D mesh of food objects using one- or few-RGBD images. We start by selecting keyframes based on the RGB images and then segmenting the reference object in the RGB images using XMem++. Simultaneously, camera positions are estimated and refined using the PixSfM technique. The segmented food images, reference objects, and camera poses are combined to form a data model suitable for NeuS2. Independent mesh reconstructions for reference and food objects are carried out, with scaling factors determined using MeshLab based on the reference object. Moreover, depth information is used to fine-tune the scaling factors by estimating the potential volume range. The fine-tuned scaling factors are then applied to the cleaned food meshes for accurate volume measurements. Similarly, we enter a segmented RGB image to the One-2-3-45 model for one-shot food volume estimation, resulting in a mesh. We then leverage the obtained scaling factors to the cleaned food mesh for accurate volume measurements. Our experiments show that our method effectively addresses occlusions, varying lighting conditions, and complex food geometries, achieving robust and accurate volume estimations with 10.97% MAPE using the MTF dataset. This innovative approach enhances the precision of volume assessments and significantly contributes to computational nutrition and dietary monitoring advancements.
Abstract（参考訳）: 正確な食品量推定は、食事評価、栄養管理、および部分管理用途に不可欠である。本稿では,3次元生成技術を用いた食品量推定手法であるVolETAについて述べる。当社のアプローチでは,1枚または数枚のRGBD画像を用いて,食品の3Dメッシュをスケールアップする。まず、RGBイメージに基づいてキーフレームを選択し、それからXMem++を使用してRGBイメージに参照オブジェクトをセグメント化する。 PixSfM技術を用いてカメラの位置を推定・精査する。セグメント化された食品画像、参照オブジェクト、カメラポーズを組み合わせて、NeuS2に適したデータモデルを形成する。参照オブジェクトと食品オブジェクトの独立したメッシュ再構成を行い、参照オブジェクトに基づいてMeshLabを用いてスケーリング係数を決定する。さらに、電位体積範囲を推定してスケーリング因子を微調整するために、深さ情報を用いる。細調整されたスケーリングファクターは、精密なボリューム測定のために、クリーニングされた食品メッシュに適用される。同様に、セグメント化されたRGB画像をOne-2-3-45モデルに入力し、1ショットの食品容積推定を行い、メッシュを生成する。次に,得られたスケーリング因子を浄化した食品メッシュに利用して,正確な体積測定を行う。 MTFデータセットを用いた10.97%のMAPEを用いて,ロバストかつ高精度な体積推定を実現し,オクルージョン,様々な照明条件,複雑な食品測地を効果的に処理できることを示した。この革新的なアプローチは、ボリュームアセスメントの精度を高め、計算栄養と食事監視の進歩に大きく貢献する。

関連論文リスト

MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds [7.357322789192671]
本稿では,単一の単分子画像のみを用いて,食品の正確な推定を行うための新しい枠組みを提案する。本フレームワークは,(1)2次元画像から食品の3次元点クラウド表現を生成する3次元再構成モジュール,(2)3次元点クラウドと2次元RGB画像の両方の特徴を抽出し表現する特徴抽出モジュール,(3)食品の容積とエネルギー量を推定するために深い回帰モデルを利用するポーション回帰モジュールの3つの主要なモジュールから構成される。
論文参考訳（メタデータ） (2024-11-14T22:17:27Z)
KRONC: Keypoint-based Robust Camera Optimization for 3D Car Reconstruction [58.04846444985808]
KRONCは、オブジェクトに関する事前知識を活用して、セマンティックキーポイントを通してその表現を再構築することで、ビューポーズを推論する新しいアプローチである。車両シーンに焦点を当てたKRONCは、キーポイントのバックプロジェクションを特異点に収束させることを目的とした光最適化問題の解として、ビューの位置を推定することができる。
論文参考訳（メタデータ） (2024-09-09T08:08:05Z)
MetaFood3D: Large 3D Food Object Dataset with Nutrition Values [53.24500333363066]
このデータセットは、詳細な栄養情報、体重、および包括的栄養データベースに関連付けられた食品コードを含む、108カテゴリにわたる637の細かな3D食品オブジェクトから成っている。実験の結果、我々のデータセットがアルゴリズムの性能を向上させる重要な可能性を実証し、ビデオキャプチャと3Dスキャンされたデータの間の困難さを強調し、高品質なデータ生成、シミュレーション、拡張におけるMetaFood3Dデータセットの強みを示した。
論文参考訳（メタデータ） (2024-09-03T15:02:52Z)
Vision-Based Approach for Food Weight Estimation from 2D Images [0.9208007322096533]
この研究は、さまざまな部分、向き、容器の14種類の食品からなる2380の画像のデータセットを用いている。提案手法は深層学習とコンピュータビジョン技術を統合し,特に食品検出にFaster R-CNN,重量推定にMobileNetV3を用いている。
論文参考訳（メタデータ） (2024-05-26T08:03:51Z)
Food Portion Estimation via 3D Object Scaling [8.164262056488447]
本稿では2次元画像から食品の体積とエネルギーを推定する新しい枠組みを提案する。入力画像中のカメラと食品オブジェクトのポーズを推定する。また、45の食品の2D画像を含むSimpleFood45という新しいデータセットも導入しました。
論文参考訳（メタデータ） (2024-04-18T15:23:37Z)
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image [7.380382380564532]
3次元形状再構成による単眼画像からの食品エネルギー推定のためのエンドツーエンドのディープラーニングフレームワークを提案する。その結果,40.05kCalの平均絶対誤差 (MAE) とMAPEの11.47%の平均絶対誤差 (MAPE) が得られた。
論文参考訳（メタデータ） (2023-08-03T15:17:24Z)
Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions [65.50975507723827]
食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。 1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。 2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。 BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
論文参考訳（メタデータ） (2023-06-15T15:38:10Z)
Category-Level Metric Scale Object Shape and Pose Estimation [73.92460712829188]
本稿では,測度スケールの形状と1枚のRGB画像からのポーズを共同で推定するフレームワークを提案する。カテゴリーレベルのオブジェクトのポーズと形状を評価するために,合成と実世界の両方のデータセット上で本手法の有効性を検証した。
論文参考訳（メタデータ） (2021-09-01T12:16:46Z)
DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation [53.55300278592281]
単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
論文参考訳（メタデータ） (2021-06-27T10:41:50Z)
A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。 ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
論文参考訳（メタデータ） (2021-05-12T03:00:07Z)
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation [6.603050343996914]
本稿では,食品分類と食品部分サイズ推定の両立が可能なエンドツーエンドマルチタスクフレームワークを提案する。本結果は,分類精度と部分推定の平均絶対誤差の両方において,ベースライン法より優れる。
論文参考訳（メタデータ） (2020-04-27T21:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。