論文の概要: Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring

• arxiv url: http://arxiv.org/abs/2107.00372v1
• Date: Thu, 1 Jul 2021 11:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:45:47.657000
• Title: Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring
• Title（参考訳）: プライバシー保全型受動的摂食モニタリングのためのエゴセントリック画像キャプション
• Authors: Jianing Qiu, Frank P.-W. Lo, Xiao Gu, Modou L. Jobarteh, Wenyan Jia, Tom Baranowski, Matilda Steiner-Asiedu, Alex K. Anderson, Megan A McCrory, Edward Sazonov, Mingui Sun, Gary Frost, Benny Lo
• Abstract要約: 受動的モニタリングによる食事評価のためのプライバシー保護型セキュアソリューション(エゴセントリック画像キャプション)を提案する。 このデータセットは、ガーナのフィールド研究でヘッドウーンと胸ウーンカメラによって撮影された、幅内の画像で構成されている。 我々の知る限りでは、実生活における食事摂取評価にイメージキャプションを適用した最初の作品である。
• 参考スコア（独自算出の注目度）: 11.896038903418498
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Camera-based passive dietary intake monitoring is able to continuously capture the eating episodes of a subject, recording rich visual information, such as the type and volume of food being consumed, as well as the eating behaviours of the subject. However, there currently is no method that is able to incorporate these visual clues and provide a comprehensive context of dietary intake from passive recording (e.g., is the subject sharing food with others, what food the subject is eating, and how much food is left in the bowl). On the other hand, privacy is a major concern while egocentric wearable cameras are used for capturing. In this paper, we propose a privacy-preserved secure solution (i.e., egocentric image captioning) for dietary assessment with passive monitoring, which unifies food recognition, volume estimation, and scene understanding. By converting images into rich text descriptions, nutritionists can assess individual dietary intake based on the captions instead of the original images, reducing the risk of privacy leakage from images. To this end, an egocentric dietary image captioning dataset has been built, which consists of in-the-wild images captured by head-worn and chest-worn cameras in field studies in Ghana. A novel transformer-based architecture is designed to caption egocentric dietary images. Comprehensive experiments have been conducted to evaluate the effectiveness and to justify the design of the proposed architecture for egocentric dietary image captioning. To the best of our knowledge, this is the first work that applies image captioning to dietary intake assessment in real life settings.
• Abstract（参考訳）: カメラによる受動的食事摂取監視は、被験者の食事のエピソードを継続的に捉え、消費される食物の種類や量、および被験者の食事行動などの豊富な視覚情報を記録することができる。 しかし、現在、これらの視覚的手がかりを取り入れ、受動的記録からの食事摂取の包括的文脈を提供する方法が存在しない(例えば、他者と食事を共有する被験者、食事の種類、ボウルにどれだけの食べ物が残されているか、など)。 一方、プライバシーは大きな懸念事項であり、エゴセントリックなウェアラブルカメラは撮影に使われている。 本稿では, 食品認識, 容積推定, シーン理解を統一した, 受動的モニタリングによる食事評価のための, プライバシー保護型セキュアソリューション(すなわち, エゴセントリックイメージキャプション)を提案する。 画像から豊かなテキスト記述に変換することで、栄養士は元の画像ではなく字幕に基づいて個々の食事摂取量を評価でき、画像からのプライバシー漏洩のリスクを低減できる。 この目的のために、ガーナのフィールド研究でヘッドウーンと胸ウーンカメラが捉えた眼内画像からなる、エゴセントリックな食事画像キャプションデータセットが構築されている。 新しいトランスフォーマーベースのアーキテクチャは、エゴセントリックな食事イメージをキャプションするように設計されている。 この効果を評価し,エゴセントリックな食感キャプションのためのアーキテクチャの設計を正当化するために,包括的な実験を行った。 我々の知る限りでは、実生活における食事摂取評価にイメージキャプションを適用した最初の作品である。

関連論文リスト

• NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images [63.314702537010355]
  自己申告法はしばしば不正確であり、重大な偏見に悩まされる。 近年、食品画像から栄養情報を予測するためにコンピュータビジョン予測システムを用いた研究が進められている。 本稿では,様々なニューラルネットワークアーキテクチャを活用することにより,食事摂取量推定の有効性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-05-13T14:56:55Z)
• How Much You Ate? Food Portion Estimation on Spoons [63.611551981684244]
  現在の画像に基づく食品部分推定アルゴリズムは、ユーザが食事の画像を1、2回取ることを前提としている。 本稿では,静止型ユーザ向けカメラを用いて,機器上の食品の追跡を行う革新的なソリューションを提案する。 本システムは,スープやシチューなどの液状固形不均一混合物の栄養含量の推定に信頼性が高い。
  論文  参考訳（メタデータ） (2024-05-12T00:16:02Z)
• NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene Dataset for Dietary Intake Estimation [68.49526750115429]
  食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。 NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
  論文  参考訳（メタデータ） (2023-11-20T11:05:20Z)
• Personalized Food Image Classification: Benchmark Datasets and New Baseline [8.019925729254178]
  本稿では、自己教師付き学習と時間的特徴情報を活用することにより、個人化された食品画像分類のための新しい枠組みを提案する。 提案手法は両方のベンチマークデータセットで評価され,既存手法と比較して性能が向上した。
  論文  参考訳（メタデータ） (2023-09-15T20:11:07Z)
• NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches [59.38343165508926]
  食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。 最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。 我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。 また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
  論文  参考訳（メタデータ） (2023-09-14T13:29:41Z)
• Towards the Creation of a Nutrition and Food Group Based Image Database [58.429385707376554]
  栄養・食品群に基づく画像データベースを構築するための枠組みを提案する。 米国農務省食品栄養データベース(FNDDS)における食品群に基づく食品コードリンクプロトコルを設計する。 提案手法は16,114個の食品データセットを含む栄養・食品群に基づく画像データベースを構築するために用いられる。
  論文  参考訳（メタデータ） (2022-06-05T02:41:44Z)
• A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
  我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。 これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。 ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
  論文  参考訳（メタデータ） (2021-05-12T03:00:07Z)
• Saliency-Aware Class-Agnostic Food Image Segmentation [10.664526852464812]
  クラス別食品画像分割法を提案する。 画像の前後の情報を利用すれば、目立たないオブジェクトを見つけることで、食べ物のイメージをセグメンテーションすることができる。 本手法は,食餌研究から収集した食品画像を用いて検証する。
  論文  参考訳（メタデータ） (2021-02-13T08:05:19Z)
• Eating Habits Discovery in Egocentric Photo-streams [9.436913961194671]
  食事関連行動パターン探索モデルを構築し,日常的に実施されている活動から栄養のルーチンを明らかにする。 このフレームワーク内では、単純だが堅牢で高速な新しい分類パイプラインを提示する。 本稿では,カメラが単独で食べる際の食品関連シーンの識別への応用について述べる。
  論文  参考訳（メタデータ） (2020-09-16T12:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。