論文の概要: Choice-75: A Dataset on Decision Branching in Script Learning

• arxiv url: http://arxiv.org/abs/2309.11737v2
• Date: Mon, 18 Mar 2024 01:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 03:52:43.885931
• Title: Choice-75: A Dataset on Decision Branching in Script Learning
• Title（参考訳）: Choice-75: スクリプト学習における決定分岐に関するデータセット
• Authors: Zhaoyi Joey Hou, Li Zhang, Chris Callison-Burch,
• Abstract要約: 提案するChoice-75は、インテリジェントなシステムに対して、記述的なシナリオによって決定を下すための最初のベンチマークである。 現在の大言語モデル(LLM)による予備結果を示す。 全体的にまともなパフォーマンスを示しているが、ハードなシナリオには依然として注目すべきヘッドルームがある。
• 参考スコア（独自算出の注目度）: 36.88821132400089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Script learning studies how stereotypical events unfold, enabling machines to reason about narratives with implicit information. Previous works mostly consider a script as a linear sequence of events while ignoring the potential branches that arise due to people's circumstantial choices. We hence propose Choice-75, the first benchmark that challenges intelligent systems to make decisions given descriptive scenarios, containing 75 scripts and more than 600 scenarios. We also present preliminary results with current large language models (LLM). Although they demonstrate overall decent performance, there is still notable headroom in hard scenarios.
• Abstract（参考訳）: スクリプト学習は、ステレオタイプイベントがどのように展開され、機械が暗黙の情報で物語を推論できるようにするかを研究する。 以前の作品は、主にスクリプトを出来事の線形的なシーケンスと見なし、人々の状況選択によって生じる潜在的な枝を無視している。 そこで我々は、75のスクリプトと600以上のシナリオを含む、記述可能なシナリオを判断するためにインテリジェントシステムに挑戦する最初のベンチマークであるChoice-75を提案する。 また,現在の大規模言語モデル (LLM) による予備的な結果も提示する。 全体的にまともなパフォーマンスを示しているが、ハードなシナリオには依然として注目すべきヘッドルームがある。

関連論文リスト

• LeGEND: A Top-Down Approach to Scenario Generation of Autonomous Driving Systems Assisted by Large Language Models [9.841914333647631]
  シナリオ生成のトップダウン方式を特徴とするLeGENDを提案する。 最初は抽象的な機能シナリオから始まり、その後論理的で具体的なシナリオへと下降する。 形式的に記述できる論理的シナリオとは異なり、関数的シナリオは自然言語で文書化されることが多い。
  論文  参考訳（メタデータ） (2024-09-16T08:01:21Z)
• Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction [11.54608099442562]
  Script Event Prediction (SEP) は、あるイベントチェーンのその後のイベントを候補リストから予測することを目的としている。 公開事前学習型言語モデルを知識ベースとして検討し,即時学習によるスクリプト関連知識の自動マイニングを行う。 事前学習した言語モデルから得られる知識の恩恵を受ける手法は,2つのベンチマークにおいて,事前ベースラインを1.46%,1.05%向上させる。
  論文  参考訳（メタデータ） (2023-08-04T01:34:46Z)
• Tree-Based Scenario Classification: A Formal Framework for Coverage Analysis on Test Drives of Autonomous Vehicles [0.0]
  シナリオベースのテストでは、関連する(運転)シナリオがテストの基礎になります。 シナリオの集合を分類し、記録されたテストドライブにおけるこれらのシナリオのカバレッジを測定するというオープンな課題に対処する。
  論文  参考訳（メタデータ） (2023-07-11T08:30:57Z)
• NaQ: Leveraging Narrations as Queries to Supervise Episodic Memory [92.98552727430483]
  Narrations-as-Queries (NaQ)は、標準的なビデオテキストナレーションをビデオクエリのローカライゼーションモデルのためのトレーニングデータに変換するデータ拡張戦略である。 NaQが複数のトップモデルを大幅に改善(精度を2倍に) また、ゼロショットおよび少数ショットNLQの実行能力や、ロングテールオブジェクトカテゴリに関するクエリのパフォーマンス向上など、このアプローチのユニークな特性も示す。
  論文  参考訳（メタデータ） (2023-01-02T16:40:15Z)
• Probing Script Knowledge from Pre-Trained Models [24.80244106746926]
  我々は,包括的サブイベント選択,サブイベント選択開始,時間的順序付けという3つの探索タスクを設計する。 3つのプローブタスクは、可能なすべてのサブイベントから、メインイベントごとにスクリプトを自動的に誘導するために、さらに使用することができる。 BERTをケーススタディとして,サブイベント間のステレオタイプ的時間的知識はBERTでよく捉えられていると結論付けた。
  論文  参考訳（メタデータ） (2022-04-16T05:13:39Z)
• Integrating Deep Event-Level and Script-Level Information for Script Event Prediction [60.67635412135681]
  本稿では,MCPredictorと呼ばれるTransformerベースのモデルを提案する。 The experimental results on the wide-useed New York Times corpus showed the effectiveness and superiority of the proposed model。
  論文  参考訳（メタデータ） (2021-09-24T07:37:32Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)
• proScript: Partially Ordered Scripts Generation via Pre-trained Language Models [49.03193243699244]
  我々は、トレーニング済みのニューラルネットワークモデル(LM)が高品質なスクリプトを生成するために微調整できることを初めて実証した。 クラウドソースされた部分的に順序付けられたスクリプト(proScriptという名前)を収集しました。 私たちの実験では、これまでのスクリプトコレクションの障壁を克服するための新しいアプローチを示す(例えば、タスク(i)中のf1=75.7)。
  論文  参考訳（メタデータ） (2021-04-16T17:35:10Z)
• Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes [78.23907801786827]
  提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。 実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
  論文  参考訳（メタデータ） (2021-04-08T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。