論文の概要: Mining Logical Event Schemas From Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2204.05939v1
- Date: Tue, 12 Apr 2022 16:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-13 11:37:47.454765
- Title: Mining Logical Event Schemas From Pre-Trained Language Models
- Title(参考訳): 事前学習言語モデルからの論理イベントスキーマのマイニング
- Authors: Lane Lawley and Lenhart Schubert
- Abstract要約: NESL(Neuro-Episodic Learner)は,大規模な言語モデル,FrameNet解析,単純な行動スキーマのセットを組み合わせたイベントスキーマ学習システムである。
言語モデルからの注意深いサンプリングは、状況のステレオタイプ的特性を強調し、無関係な詳細を強調するのに役立つことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present NESL (the Neuro-Episodic Schema Learner), an event schema learning
system that combines large language models, FrameNet parsing, a powerful
logical representation of language, and a set of simple behavioral schemas
meant to bootstrap the learning process. In lieu of a pre-made corpus of
stories, our dataset is a continuous feed of "situation samples" from a
pre-trained language model, which are then parsed into FrameNet frames, mapped
into simple behavioral schemas, and combined and generalized into complex,
hierarchical schemas for a variety of everyday scenarios. We show that careful
sampling from the language model can help emphasize stereotypical properties of
situations and de-emphasize irrelevant details, and that the resulting schemas
specify situations more comprehensively than those learned by other systems.
- Abstract(参考訳): NESL(Neuro-Episodic Schema Learner)は,大規模言語モデル,FrameNet解析,強力な論理的言語表現,学習プロセスのブートストラップを目的とした単純な行動スキーマのセットを組み合わせたイベントスキーマ学習システムである。
私たちのデータセットは、事前に作成されたストーリーのコーパスの代わりに、トレーニング済みの言語モデルから"situation sample"を継続的にフィードし、FrameNetフレームに解析し、単純な振る舞いスキーマにマップし、複雑な階層スキーマに結合して、さまざまな日常シナリオに一般化します。
言語モデルからの注意深いサンプリングは、状況のステレオタイプ的特性を強調し、無関係な詳細を強調するのに役立ち、結果のスキーマが他のシステムで学んだものよりもより包括的に状況を特定することを示す。
関連論文リスト
- LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳(メタデータ) (2024-06-24T03:36:29Z) - Learning to Plan for Language Modeling from Unlabeled Data [23.042650737356496]
我々は,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。
生成した潜在計画の条件付けにより、我々のモデルは、成功した言語モデル公式を、教師なしの方法でより抽象的な計画へと拡張する。
論文 参考訳(メタデータ) (2024-03-31T09:04:01Z) - Drafting Event Schemas using Language Models [48.81285141287434]
複雑なイベントを記述するためにこのようなスキーマを作成するプロセスに注目します。
私たちの焦点は、十分な多様性と重要なイベントのリコールを達成できるかどうかにあります。
大規模言語モデルは、2つの異なるデータセットから取り出されたスキーマに対して適度なリコールを達成することができることを示す。
論文 参考訳(メタデータ) (2023-05-24T07:57:04Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳(メタデータ) (2022-07-21T07:35:18Z) - Show, Don't Tell: Demonstrations Outperform Descriptions for
Schema-Guided Task-Oriented Dialogue [27.43338545216015]
Show, Don't TellはSeq2seqモデリングのプロンプトフォーマットで、ショートラベル付きサンプルダイアログを使用してスキーマ要素のセマンティクスを示す。
サービス開発者からも同様の努力を必要とする一方で、大規模な言語モデルによるスキーマ表現としてショートサンプルを使用することで、パフォーマンスが向上し、一般化が向上することを示す。
論文 参考訳(メタデータ) (2022-04-08T23:27:18Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。
本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T17:35:05Z) - STRIPS Action Discovery [67.73368413278631]
近年のアプローチでは、すべての中間状態が欠如している場合でも、アクションモデルを合成する古典的な計画が成功している。
アクションシグネチャが不明な場合に,従来のプランナーを用いてSTRIPSアクションモデルを教師なしで合成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-30T17:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。