論文の概要: Reference-Free Food Volume Estimation from Egocentric Stereo Video
- arxiv url: http://arxiv.org/abs/2610.12735v1
- Date: Thu, 08 Oct 2026 21:30:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.285643
- Title: Reference-Free Food Volume Estimation from Egocentric Stereo Video
- Title(参考訳): エゴセントリックステレオビデオによる参照フリー食品容積推定
- Abstract要約: 本研究では,ウェアラブル型エゴシックデバイスからのステレオ映像を用いて,食品を物理的に再現する手法を提案する。
記録食品5項目に対して, 絶対絶対値誤差9.1%を達成し, 高い初期体積推定結果を示した。
- 参考スコア(独自算出の注目度): 8.604205570024678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current stereo vision-based approaches for food portion estimation are hindered by the user burden of using a mobile phone to capture multiple images or placing a reference object in the scene for scale calibration. As a step towards passive dietary intake monitoring, we introduce a method that uses stereo video from a wearable egocentric device to reconstruct food items in true physical scale to accurately estimate volume. By utilizing FoundationStereo for zero-shot stereo matching, SAM 2 for food segmentation, and TSDF fusion over a set of keyframes, our method yields a visually and metrically accurate 3D mesh of any plated food item from a single stereo recording. We leverage the unique offerings of wearables, such as a factory-calibrated stereo baseline and camera poses estimated on-device via visual-inertial odometry (VIO), to perform fully automatic reconstruction without a scale reference object in the scene. We show strong initial volume estimation results across five recorded food items, achieving a mean absolute percentage error of 9.1%.
- Abstract(参考訳): 現在のステレオビジョンに基づく食品部分推定アプローチは、携帯電話を用いて複数の画像をキャプチャしたり、スケールキャリブレーションのために基準オブジェクトをシーンに配置するユーザの負担によって妨げられる。
受動的食事摂取監視へのステップとして,ウェアラブル・エゴセントリック・デバイスからのステレオビデオを用いて,食品を物理的に再現し,容積を正確に推定する手法を提案する。
ゼロショットステレオマッチングのためのFoundationStereo,食品セグメンテーションのためのSAM2,および一連のキーフレーム上でのTSDF融合を利用して,単一のステレオ記録から任意のめっき食品の視覚的および計量的精度の3Dメッシュを生成する。
視覚慣性オドメトリー(VIO)を用いてデバイス上で推定されるステレオベースラインやカメラポーズなどのウェアラブルのユニークな機能を活用し、シーン内のスケール参照オブジェクトを使わずに完全な自動再構築を行う。
記録食品5項目に対して, 絶対絶対誤差9.1%と高い初回容積推定結果を示した。
関連論文リスト
- Zero-Shot Object Re-Identification in Egocentric Kitchen Videos via Multi-Stage SAM3 Feature Fusion [59.32099847726022]
EPIC-Kitchensベンチマークを用いてゼロショットオブジェクトReIDについて検討した。
目標は、トレーニング済みのビジュアル機能のみを使用して、アクティブな食品とキッチンツールインスタンスをフレーム間でマッチングすることだ。
論文 参考訳(メタデータ) (2026-05-25T23:01:41Z) - Stereo World Model: Camera-Guided Stereo Video Generation [52.3922115596956]
本稿では、ステレオビデオ生成のための外観と両眼形状を共同で学習するカメラコンディショニングステレオワールドモデルであるStereoWorldを紹介する。
単分子RGBやRGBDのアプローチとは異なり、StereoWorldはRGBモードでのみ動作する。
論文 参考訳(メタデータ) (2026-03-18T05:42:22Z) - Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflections [55.248092751290834]
ミラーリフレクションは日常の環境で一般的であり、単一のキャプチャ内でステレオ情報を提供することができる。
我々はこの特性を利用して、リフレクションを補助的な視点として扱い、物理的に有効な仮想カメラを構成する変換を設計する。
これにより、単一の画像から多視点ステレオ設定が可能となり、撮像プロセスが簡単になる。
論文 参考訳(メタデータ) (2025-09-24T23:00:22Z) - VolE: A Point-cloud Framework for Food 3D Reconstruction and Volume Estimation [4.621139625109643]
モバイル端末駆動型3D再構成を利用して食品量を推定する新しいフレームワークであるVolEを提案する。
VolEは、AR対応モバイルデバイスのおかげで、画像やカメラの位置を自由に撮影し、正確な3Dモデルを生成する。
実験の結果,VolEは2.22 %のMAPEを達成し,複数のデータセットにわたる既存のボリューム推定手法より優れていることがわかった。
論文 参考訳(メタデータ) (2025-05-15T12:03:05Z) - VolETA: One- and Few-shot Food Volume Estimation [4.282795945742752]
本稿では,3次元生成技術を用いた食品量推定手法であるVolETAについて述べる。
当社のアプローチでは,1枚または数枚のRGBD画像を用いて,食品の3Dメッシュをスケールアップする。
MTFデータセットを用いて10.97%のMAPEを用いて、ロバストで正確なボリューム推定を行う。
論文 参考訳(メタデータ) (2024-07-01T18:47:15Z) - How Much You Ate? Food Portion Estimation on Spoons [63.611551981684244]
現在の画像に基づく食品部分推定アルゴリズムは、ユーザが食事の画像を1、2回取ることを前提としている。
本稿では,静止型ユーザ向けカメラを用いて,機器上の食品の追跡を行う革新的なソリューションを提案する。
本システムは,スープやシチューなどの液状固形不均一混合物の栄養含量の推定に信頼性が高い。
論文 参考訳(メタデータ) (2024-05-12T00:16:02Z) - Food Portion Estimation via 3D Object Scaling [8.164262056488447]
本稿では2次元画像から食品の体積とエネルギーを推定する新しい枠組みを提案する。
入力画像中のカメラと食品オブジェクトのポーズを推定する。
また、45の食品の2D画像を含むSimpleFood45という新しいデータセットも導入しました。
論文 参考訳(メタデータ) (2024-04-18T15:23:37Z) - An End-to-end Food Portion Estimation Framework Based on Shape
Reconstruction from Monocular Image [7.380382380564532]
3次元形状再構成による単眼画像からの食品エネルギー推定のためのエンドツーエンドのディープラーニングフレームワークを提案する。
その結果,40.05kCalの平均絶対誤差 (MAE) とMAPEの11.47%の平均絶対誤差 (MAPE) が得られた。
論文 参考訳(メタデータ) (2023-08-03T15:17:24Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳(メタデータ) (2020-07-18T22:31:33Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。