論文の概要: OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking

• arxiv url: http://arxiv.org/abs/2306.00887v2
• Date: Tue, 20 Jun 2023 19:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 16:54:06.995276
• Title: OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking
• Title（参考訳）: OpenPI-C: Open-Vocabulary State Trackingのためのベンチマークと強力なベースライン
• Authors: Xueqing Wu, Sha Li, Heng Ji
• Abstract要約: OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。 評価指標として,クラスタベースの計量法を提案する。
• 参考スコア（独自算出の注目度）: 55.62705574507595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary state tracking is a more practical version of state tracking that aims to track state changes of entities throughout a process without restricting the state space and entity space. OpenPI is to date the only dataset annotated for open-vocabulary state tracking. However, we identify issues with the dataset quality and evaluation metric. For the dataset, we categorize 3 types of problems on the procedure level, step level and state change level respectively, and build a clean dataset OpenPI-C using multiple rounds of human judgment. For the evaluation metric, we propose a cluster-based metric to fix the original metric's preference for repetition. Model-wise, we enhance the seq2seq generation baseline by reinstating two key properties for state tracking: temporal dependency and entity awareness. The state of the world after an action is inherently dependent on the previous state. We model this dependency through a dynamic memory bank and allow the model to attend to the memory slots during decoding. On the other hand, the state of the world is naturally a union of the states of involved entities. Since the entities are unknown in the open-vocabulary setting, we propose a two-stage model that refines the state change prediction conditioned on entities predicted from the first stage. Empirical results show the effectiveness of our proposed model especially on the cluster-based metric. The code and data are released at https://github.com/shirley-wu/openpi-c
• Abstract（参考訳）: open-vocabulary state trackingは、状態空間とエンティティ空間を制限することなく、プロセス全体のエンティティの状態変化を追跡することを目的とした、より実用的な状態追跡バージョンである。 OpenPIは現在、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 しかし,データセットの品質と評価基準の問題点は明らかである。 本データセットでは,手順レベル,ステップレベル,状態変化レベルの3種類の問題を分類し,複数ラウンドの人的判断を用いてクリーンなデータセットOpenPI-Cを構築する。 評価基準のために, 評価基準の繰り返しに対する好みを修正するために, クラスタベースメトリクスを提案する。 モデル面では、状態追跡のための2つの重要なプロパティ:時間依存とエンティティ認識を回復することで、seq2seq生成ベースラインを強化します。 行動後の世界の状態は、本質的に前の状態に依存する。 この依存関係を動的メモリバンクを通じてモデル化し、デコード中にモデルがメモリスロットに出席できるようにします。 一方、世界の状態は自然に関係する国家の連合である。 オープン語彙設定ではエンティティが未知であるため,第1段階から予測されるエンティティに条件付き状態変化予測を洗練させる2段階モデルを提案する。 実験結果から,提案モデルの有効性が示唆された。 コードとデータはhttps://github.com/shirley-wu/openpi-cでリリース

関連論文リスト

• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)
• OpenPI2.0: An Improved Dataset for Entity Tracking in Texts [36.84433853139042]
  以前のデータセットであるOpenPIは、テキスト内のエンティティ状態の変更をクラウドソースでアノテーションとして提供していた。 改良されたデータセットであるOpenPI2.0では、エンティティと属性が完全に標準化され、追加のエンティティサリエンスアノテーションが追加される。 その結果,質問応答や古典的計画といったタスクにおいて,適切なエンティティの状態変化をチェーン・オブ・シークレットのプロンプトとして利用することで,ダウンストリームのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-05-24T00:57:35Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• Understand the Dynamic World: An End-to-End Knowledge Informed Framework for Open Domain Entity State Tracking [15.421012879083463]
  Open Domain entity state trackingは、アクション記述が与えられたエンティティの妥当な状態変化(すなわち、[entity]の[属性]は、[before_state]と[after_state])を予測することを目的としています。 モデルがアクションによって引き起こされる任意の数のエンティティ状態変化を予測する必要がある一方で、ほとんどのエンティティはアクションとその属性に暗黙的に関連しており、状態はオープンな語彙から来ているため、それは難しいです。 我々は、オープンドメインのエンティティ状態追跡のための新しいエンドツーエンドの知識インフォームドフレームワーク、KIESTを提案し、関連するエンティティと属性を明示的に取り出す。
  論文  参考訳（メタデータ） (2023-04-26T22:45:30Z)
• Coalescing Global and Local Information for Procedural Text Understanding [70.10291759879887]
  完全な手続き的理解ソリューションは、入力のローカル・グローバル・ビューとアウトプットのグローバル・ビューの3つの中核的な側面を組み合わせるべきである。 本稿では,エンティティと時間表現を構築する新しいモデルであるCoalescing Global and Local InformationCGを提案する。 一般的な手続き的テキスト理解データセットの実験は、我々のモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:16:32Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Topological Experience Replay [22.84244156916668]
  深層Q-ラーニングメソッドは、経験リプレイバッファからサンプリングされた状態遷移を使用してQ-値を更新する。 エージェントの経験をグラフに整理し、状態のQ値間の依存性を明示的に追跡する。 本手法は,多種多様な目標達成タスクのベースラインよりも,データ効率が著しく高いことを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-29T18:28:20Z)
• State estimation with limited sensors -- A deep learning based approach [0.0]
  本稿では,シーケンシャルデータから学習する新しいディープラーニングに基づく状態推定フレームワークを提案する。 逐次データを利用することで,1～2つのセンサのみの状態回復が可能になることを示す。
  論文  参考訳（メタデータ） (2021-01-27T16:14:59Z)
• A New Bandit Setting Balancing Information from State Evolution and Corrupted Context [52.67844649650687]
  本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。 任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。 本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。