論文の概要: ReGraph: Learning to Generate Recipe Graphs from Food Images
- arxiv url: http://arxiv.org/abs/2608.06917v1
- Date: Fri, 07 Aug 2026 07:51:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.404041
- Title: ReGraph: Learning to Generate Recipe Graphs from Food Images
- Title（参考訳）: ReGraph: フードイメージからレシピグラフを生成する学習
- Abstract要約: ReGraphは、材料、調理行動、ツールをエンティティとして表現する大規模なレシピグラフデータセットである。
本稿では,LMMが食品画像からよりきめ細かな調理ワークフローを生成できる2段階のフレームワークであるレシピグラフ学習(RGL)を提案する。
- 参考スコア（独自算出の注目度）: 70.27418607642029
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent Large Multimodal Models (LMMs) have achieved impressive performance in recipe generation from food images.However, cooking is a structured transformation process in which ingredients undergo state changes through ordered actions,while free-form recipe language leaves the corresponding entities, intermediate states, and dependencies largely implicit and entangled.A graph representation makes this procedural knowledge explicit and compositional, providing a structured basis for assessing whether model outputs encode process-level knowledge rather than merely presenting plausible textual descriptions. To address this limitation, we present ReGraph, a large-scale recipe graph dataset that represents ingredients, cooking actions, and tools as entities, uses entity attributes to describe ingredient state changes, and employs typed relations to encode manipulation targets, destinations, and procedural ordering. ReGraph further incorporates explicit Recipe Reasoning Chain-of-Thought (RR-CoT) traces, providing auxiliary supervision for procedural decomposition and structured graph generation. Building on ReGraph, we propose Recipe Graph Learning (RGL), a two-stage framework that enables LMMs to generate a plausible fine-grained cooking workflow from a food image in the form of a structured recipe graph. Under a deterministic, schema-aware matching protocol, our experiments reveal a substantial gap between text-generation quality and recoverable procedural structure: recipes produced by existing approaches achieve competitive text-generation scores yet yield limited reference-aligned entity and relation structure under the ReGraph schema. In contrast, across two representative LMM backbones, RGL consistently improves the generation of cooking entities and procedural relations, while our analysis further shows that fine-grained ingredient-state capture remains the most challenging dimension.
- Abstract（参考訳）: 近年のLMM(Large Multimodal Models, LMM)は, 食品画像からレシピ生成において顕著なパフォーマンスを達成しているが, 調理は, 整然とした動作によって材料が状態変化する構造的変換プロセスであり, フリーフォームのレシピ言語は, 対応するエンティティ, 中間状態, 依存関係がほとんど暗黙的かつ絡み合っている。グラフ表現は, この手続き的知識を明示的かつ構成的とし, モデル出力が, もっともらしい文章記述を単に提示するのではなく, プロセスレベルの知識をコード化する構造的基盤を提供する。
この制限に対処するため、材料、調理行動、ツールをエンティティとして表現した大規模なレシピグラフデータセットであるReGraphを提示し、エンティティ属性を使用して成分の状態変化を記述し、ターゲット、目的地、手続き的順序付けをエンコードするために型付き関係を利用する。
ReGraphはさらに、明示的なRecipe Reasoning Chain-of-Thought(RR-CoT)トレースを導入し、手続き的分解と構造化グラフ生成のための補助的な監督を提供する。
ReGraph 上に構築したRecipe Graph Learning (RGL) は,LMM が食品画像から,構造化されたレシピグラフの形で,きめ細かな調理ワークフローを生成可能な2段階のフレームワークである。
既存の手法が生成したレシピは、競合するテキスト生成スコアを達成できるが、ReGraphスキーマの下では限定的な参照整合性および関係構造が得られる。
対照的に、2つの代表的LMMバックボーンにおいて、RGLは調理体の生成と手続き的関係を一貫して改善する一方、我々の分析は、きめ細かい成分の捕獲が最も困難な次元であることを示している。
関連論文リスト
- DrawAI: Agentic Benchmark and Workflow for Making Raster Images Editable [10.070492917829995]
本稿では,エージェントベンチマークであるDrawAI-Benchと再構築ワークフローであるDrawAI-Flowを紹介する。
画像から直接操作可能なアーティファクトを復元し、その視覚的・意味的な内容を保存する。
その結果,再現性やコストはモデルハーネス構成によって大きく異なるが,DrawAI-Flowは一貫して編集可能な構造を改善していることがわかった。
論文 参考訳（メタデータ） (2026-08-01T09:05:06Z) - Agentic Planning with Reasoning for Image Styling via Offline RL [66.10749901925941]
直接的なプロンプトベースの編集は複雑な変換では失敗するが、なぜなら曖昧で主観的なプロンプトは、画像に何を変更するべきかを微妙に理解する必要がしばしばあるからである。
ツールベースのエージェントRLポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T11:14:37Z) - Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation [69.90401008542368]
命令生成のための内部コンテキストとして,アクションや材料を予測し,検証する意味的基盤を持つフレームワークを提案する。
Recipe1Mの実験は最先端の性能を示し、セマンティックな忠実さを著しく改善した。
論文 参考訳（メタデータ） (2026-01-26T10:06:18Z) - Youtu-GraphRAG: Vertically Unified Agents for Graph Retrieval-Augmented Complex Reasoning [32.78218766121055]
グラフ検索拡張生成(GraphRAG)は,複雑な推論において,大規模言語モデルを効果的に拡張した。
本稿では,フレームワーク全体を複雑な統合として結合する,垂直に統一されたエージェントパラダイムYoutu-GraphRAGを提案する。
論文 参考訳（メタデータ） (2025-08-27T13:13:20Z) - RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs [58.10503898336799]
完全なRAGパイプラインをシームレスに統合するモジュラーフレームワークであるRAG-on-Graphs Library(RGL)を紹介した。
RGLは、さまざまなグラフフォーマットをサポートし、必須コンポーネントの最適化実装を統合することで、重要な課題に対処する。
評価の結果,RGLはプロトタイピングプロセスの高速化だけでなく,グラフベースRAGシステムの性能や適用性の向上も図っている。
論文 参考訳（メタデータ） (2025-03-25T03:21:48Z) - Graph-Based Multimodal Contrastive Learning for Chart Question Answering [11.828192162922436]
この研究は、チャートコンポーネントとその基盤構造間の関係を明示的にモデル化する、新しいマルチモーダルシーングラフフレームワークを導入している。
このフレームワークは、視覚グラフとテキストグラフの両方を統合し、構造的特徴と意味的特徴をキャプチャする。
グラフの対照的な学習戦略は、トランスフォーマーデコーダをソフトプロンプトとしてシームレスに組み込むことができるように、モジュール間のノード表現を整列させる。
論文 参考訳（メタデータ） (2025-01-08T06:27:07Z) - GraphER: A Structure-aware Text-to-Graph Model for Entity and Relation Extraction [3.579132482505273]
自然言語処理(NLP)における情報抽出は重要な課題である
グラフ構造学習(GSL)として定式化する手法を提案する。
この定式化により、エンティティとリレーショナル予測のためのより良い相互作用と構造インフォームド決定が可能になる。
論文 参考訳（メタデータ） (2024-04-18T20:09:37Z) - Learning Structural Representations for Recipe Generation and Food
Retrieval [101.97397967958722]
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-10-04T06:36:31Z) - CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval [20.292467149387594]
本稿では,食品画像検索と検索タスクにおける画像とテキストの潜伏表現を協調的にモデル化する,新たなクロスモーダル学習フレームワークを提案する。
本研究では,効率的な木構造長短期記憶を計算クロスモーダル検索フレームワークのテキストエンコーダとして利用することにより,レシピ記述の主成分や調理動作を明示的な監督なしに識別できることを実証した。
論文 参考訳（メタデータ） (2021-02-04T11:24:34Z) - Decomposing Generation Networks with Structure Prediction for Recipe
Generation [142.047662926209]
本稿では,構造予測を伴うDGN(Decomposing Generation Networks)を提案する。
具体的には,調理指導を複数のフェーズに分割し,各フェーズに異なるサブジェネレータを割り当てる。
提案手法は, (i) 大域的構造予測成分を用いてレシピ構造を学習し, (ii) 予測された構造に基づいてサブジェネレータ出力成分でレシピ相を生成するという2つの新しいアイデアを含む。
論文 参考訳（メタデータ） (2020-07-27T08:47:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。