論文の概要: Towards End-User Development for IoT: A Case Study on Semantic Parsing
of Cooking Recipes for Programming Kitchen Devices
- arxiv url: http://arxiv.org/abs/2309.14165v1
- Date: Mon, 25 Sep 2023 14:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 15:21:43.676291
- Title: Towards End-User Development for IoT: A Case Study on Semantic Parsing
of Cooking Recipes for Programming Kitchen Devices
- Title（参考訳）: iotのエンドユーザー開発に向けて:キッチンデバイスの調理レシピのセマンティック解析を事例として
- Authors: Filippos Ventirozos, Sarah Clinch and Riza Batista-Navarro
- Abstract要約: キッチン内のIoTデバイスに対して,調理レシピの指示から機械的に理解可能なコマンドへの変換を支援することを目的とした,ユニークなコーパスを提供する。
このコーパスに基づいて、条件付きランダムフィールド(CRF)とニューラルネットワークモデルを用いた機械学習に基づくシーケンスラベリング手法を開発した。
その結果、アノテーションに基づいて意味論を訓練することは可能であるが、ほとんどの自然言語命令は不完全であり、形式的な意味表現に変換することは簡単ではないことがわかった。
- 参考スコア（独自算出の注目度）: 4.863892359772122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic parsing of user-generated instructional text, in the way of enabling
end-users to program the Internet of Things (IoT), is an underexplored area. In
this study, we provide a unique annotated corpus which aims to support the
transformation of cooking recipe instructions to machine-understandable
commands for IoT devices in the kitchen. Each of these commands is a tuple
capturing the semantics of an instruction involving a kitchen device in terms
of "What", "Where", "Why" and "How". Based on this corpus, we developed machine
learning-based sequence labelling methods, namely conditional random fields
(CRF) and a neural network model, in order to parse recipe instructions and
extract our tuples of interest from them. Our results show that while it is
feasible to train semantic parsers based on our annotations, most
natural-language instructions are incomplete, and thus transforming them into
formal meaning representation, is not straightforward.
- Abstract（参考訳）: エンドユーザがiot(internet of things, モノのインターネット)をプログラムできるように、ユーザが生成したインストラクショナルテキストの意味解析は、未調査領域である。
本研究では,キッチンにおけるIoTデバイスの調理手順から機械的に理解可能なコマンドへの変換を支援することを目的とした,ユニークな注釈付きコーパスを提供する。
これらのコマンドは、"what", "where", "why" および "how" という用語で、キッチンデバイスを含む命令のセマンティクスをキャプチャするタプルである。
このコーパスをベースとして、条件付きランダムフィールド(CRF)とニューラルネットワークモデルという機械学習に基づくシーケンスラベリング手法を開発し、レシピを解析し、興味のあるタプルを抽出した。
その結果,アノテーションに基づく意味的パーサの訓練は可能ではあるが,ほとんどの自然言語命令は不完全であり,形式的意味表現への変換は容易ではないことがわかった。
関連論文リスト
- Spatially-Aware Speaker for Vision-and-Language Navigation Instruction Generation [8.931633531104021]
SAS(Spatially-Aware Speaker)は、環境の構造的知識と意味的知識の両方を用いてよりリッチな命令を生成する命令生成装置である。
提案手法は,既存の命令生成モデルより優れ,標準指標を用いて評価する。
論文 参考訳（メタデータ） (2024-09-09T13:12:11Z) - Answer is All You Need: Instruction-following Text Embedding via
Answering the Question [41.727700155498546]
本稿では、入力テキストに関する質問として命令を扱い、予測された回答を符号化して表現を得る新しい視点を提供する。
具体的には,抽象的質問応答タスクの言語モデルのみを微調整することで,この組込み解答のアイデアをインスタンス化するInBedderを提案する。
論文 参考訳（メタデータ） (2024-02-15T01:02:41Z) - PizzaCommonSense: Learning to Model Commonsense Reasoning about Intermediate Steps in Cooking Recipes [7.839338724237275]
レシピを効果的に推論するモデルは、レシピ内の中間ステップの入力と出力を正確に識別し、理解する必要がある。
そこで本研究では,各工程の入力と出力を記述した中間ステップを記述した料理レシピの新たなコーパスを提案する。
論文 参考訳（メタデータ） (2024-01-12T23:33:01Z) - Instruct and Extract: Instruction Tuning for On-Demand Information
Extraction [86.29491354355356]
On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。
InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。
InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
論文 参考訳（メタデータ） (2023-10-24T17:54:25Z) - The Proof is in the Pudding: Using Automated Theorem Proving to Generate
Cooking Recipes [4.281959480566437]
本稿では,レシピ作成のためのルールベース自然言語生成プログラムであるFASTFOODを提案する。
レシピは、自動定理証明手順を使用して、成分と指示を選択し、公理と含意に対する指示に対応する。
FASTFOODには時間的最適化モジュールも含まれている。
論文 参考訳（メタデータ） (2022-03-05T08:50:34Z) - Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。
ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-02T10:54:25Z) - Decomposing Generation Networks with Structure Prediction for Recipe
Generation [142.047662926209]
本稿では,構造予測を伴うDGN(Decomposing Generation Networks)を提案する。
具体的には,調理指導を複数のフェーズに分割し,各フェーズに異なるサブジェネレータを割り当てる。
提案手法は, (i) 大域的構造予測成分を用いてレシピ構造を学習し, (ii) 予測された構造に基づいてサブジェネレータ出力成分でレシピ相を生成するという2つの新しいアイデアを含む。
論文 参考訳（メタデータ） (2020-07-27T08:47:50Z) - A Recipe for Creating Multimodal Aligned Datasets for Sequential Tasks [48.39191088844315]
調理領域では、ウェブは、同じ料理を作る方法を記述したテキストとビデオのレシピを多数提供している。
我々は、同じ料理の異なるレシピの指示間のペアワイズアライメントを学習する教師なしアライメントアルゴリズムを使用する。
次に、グラフアルゴリズムを用いて、同じ料理のための複数のテキストと複数のビデオレシピの協調的なアライメントを導出する。
論文 参考訳（メタデータ） (2020-05-19T17:27:00Z) - A Benchmark for Structured Procedural Knowledge Extraction from Cooking
Videos [126.66212285239624]
本稿では,調理ビデオから抽出した構造化手続き的知識のベンチマークを提案する。
手動で注釈付けしたオープン語彙リソースには、356の指導的調理ビデオと15,523のビデオクリップ/文レベルのアノテーションが含まれています。
論文 参考訳（メタデータ） (2020-05-02T05:15:20Z) - ESPnet-ST: All-in-One Speech Translation Toolkit [57.76342114226599]
ESPnet-STは、エンドツーエンドの音声処理ツールキットであるESPnet内の新しいプロジェクトである。
音声認識、機械翻訳、音声翻訳のための音声合成機能を実装する。
データ前処理、特徴抽出、トレーニング、デコードパイプラインを含むオールインワンのレシピを提供します。
論文 参考訳（メタデータ） (2020-04-21T18:38:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。