論文の概要: DFEE: Interactive DataFlow Execution and Evaluation Kit

• arxiv url: http://arxiv.org/abs/2212.08099v1
• Date: Sun, 4 Dec 2022 23:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 03:11:11.907548
• Title: DFEE: Interactive DataFlow Execution and Evaluation Kit
• Title（参考訳）: DFEE: インタラクティブなデータフローの実行と評価キット
• Authors: Han He, Song Feng, Daniele Bonadiman, Yi Zhang, Saab Mansour
• Abstract要約: DFEEはインタラクティブなDataFlow Execution and Evaluationツールキットである。 時間的推論を伴うイベントスケジューリングという,複雑な対話タスクを実演する。 SoTAモデルのベンチマーク方法を説明するために,より洗練されたイベントスケジューリングシナリオをカバーする新しいベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 15.437150666291457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DataFlow has been emerging as a new paradigm for building task-oriented chatbots due to its expressive semantic representations of the dialogue tasks. Despite the availability of a large dataset SMCalFlow and a simplified syntax, the development and evaluation of DataFlow-based chatbots remain challenging due to the system complexity and the lack of downstream toolchains. In this demonstration, we present DFEE, an interactive DataFlow Execution and Evaluation toolkit that supports execution, visualization and benchmarking of semantic parsers given dialogue input and backend database. We demonstrate the system via a complex dialog task: event scheduling that involves temporal reasoning. It also supports diagnosing the parsing results via a friendly interface that allows developers to examine dynamic DataFlow and the corresponding execution results. To illustrate how to benchmark SoTA models, we propose a novel benchmark that covers more sophisticated event scheduling scenarios and a new metric on task success evaluation. The codes of DFEE have been released on https://github.com/amazonscience/dataflow-evaluation-toolkit.
• Abstract（参考訳）: DataFlowは、対話タスクの表現力のあるセマンティック表現のため、タスク指向のチャットボットを構築するための新しいパラダイムとして現れています。 大きなデータセットsmcalflowとシンプルな構文が利用可能であるにもかかわらず、システム複雑さと下流ツールチェーンの欠如により、dataflowベースのチャットボットの開発と評価は依然として困難である。 本稿では,対話入力とバックエンドデータベースを与えられた意味的パーサの実行,可視化,ベンチマークを支援する対話型データフロー実行評価ツールキットdfeeを提案する。 複雑なダイアログタスク:時間的推論を伴うイベントスケジューリングを通じてシステムを示す。 また、動的データフローと対応する実行結果を調べるためのフレンドリーなインターフェースを通じて、パース結果の診断もサポートする。 そこで本研究では,より洗練されたイベントスケジューリングシナリオを網羅した新しいベンチマークと,タスク成功評価の新しい指標を提案する。 DFEEのコードはhttps://github.com/amazonscience/dataflow-evaluation-toolkitで公開されている。

関連論文リスト

• Unsupervised Flow Discovery from Task-oriented Dialogues [0.988655456942026]
  本稿では,対話履歴からのフローの教師なし発見のためのアプローチを提案する。 パブリックTODデータセットであるMultiWOZから発見された流れの具体的な例を示す。
  論文  参考訳（メタデータ） (2024-05-02T15:54:36Z)
• TOD-Flow: Modeling the Structure of Task-Oriented Dialogues [77.15457469745364]
  ダイアログを付加した対話データからTOD-Flowグラフを推定する手法を提案する。 推定されたTOD-Flowグラフは、任意の対話モデルと容易に統合することができ、予測性能、透明性、制御性を改善することができる。
  論文  参考訳（メタデータ） (2023-12-07T20:06:23Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Turning Flowchart into Dialog: Augmenting Flowchart-grounded Troubleshooting Dialogs via Synthetic Data Generation [50.06143883455979]
  Flowchart-grounded trouble shooting dialogue (FTD) システムは、特定のドメインにおけるユーザの問題を診断するフローチャートの指示に従う。 多様な合成ダイアログデータを大規模に生成する計画ベース合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-05-02T11:08:27Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Enel: Context-Aware Dynamic Scaling of Distributed Dataflow Jobs using Graph Propagation [52.9168275057997]
  本稿では,属性グラフ上でメッセージの伝搬を利用してデータフロージョブをモデル化する,新しい動的スケーリング手法であるEnelを提案する。 Enelが効果的な再スケーリングアクションを識別でき、例えばノードの障害に反応し、異なる実行コンテキストで再利用可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-27T10:21:08Z)
• Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances [28.255324166852535]
  オープンドメイン対話モデルは、歴史的文脈に応じて許容可能な応答を生成することができる。 本稿では,コンテキストフローをモデル化する動的フロー機構を導入するダイアロフローモデルを提案する。 コードと事前訓練されたモデルは公開されます。
  論文  参考訳（メタデータ） (2021-06-04T03:04:06Z)
• Task-Oriented Dialogue as Dataflow Synthesis [158.77123205487334]
  本稿では,対話状態がデータフローグラフとして表現されるタスク指向対話へのアプローチについて述べる。 対話エージェントは、各ユーザの発話を、このグラフを拡張するプログラムにマッピングする。 我々は、イベント、天気、場所、人々に関する複雑な対話を特徴とする、新しいデータセットであるSMCalFlowを紹介した。
  論文  参考訳（メタデータ） (2020-09-24T00:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。