論文の概要: Mining Logical Event Schemas From Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2204.05939v1
- Date: Tue, 12 Apr 2022 16:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-13 11:37:47.454765
- Title: Mining Logical Event Schemas From Pre-Trained Language Models
- Title（参考訳）: 事前学習言語モデルからの論理イベントスキーマのマイニング
- Authors: Lane Lawley and Lenhart Schubert
- Abstract要約: NESL(Neuro-Episodic Learner)は,大規模な言語モデル,FrameNet解析,単純な行動スキーマのセットを組み合わせたイベントスキーマ学習システムである。
言語モデルからの注意深いサンプリングは、状況のステレオタイプ的特性を強調し、無関係な詳細を強調するのに役立つことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present NESL (the Neuro-Episodic Schema Learner), an event schema learning
system that combines large language models, FrameNet parsing, a powerful
logical representation of language, and a set of simple behavioral schemas
meant to bootstrap the learning process. In lieu of a pre-made corpus of
stories, our dataset is a continuous feed of "situation samples" from a
pre-trained language model, which are then parsed into FrameNet frames, mapped
into simple behavioral schemas, and combined and generalized into complex,
hierarchical schemas for a variety of everyday scenarios. We show that careful
sampling from the language model can help emphasize stereotypical properties of
situations and de-emphasize irrelevant details, and that the resulting schemas
specify situations more comprehensively than those learned by other systems.
- Abstract（参考訳）: NESL(Neuro-Episodic Schema Learner)は,大規模言語モデル,FrameNet解析,強力な論理的言語表現,学習プロセスのブートストラップを目的とした単純な行動スキーマのセットを組み合わせたイベントスキーマ学習システムである。
私たちのデータセットは、事前に作成されたストーリーのコーパスの代わりに、トレーニング済みの言語モデルから"situation sample"を継続的にフィードし、FrameNetフレームに解析し、単純な振る舞いスキーマにマップし、複雑な階層スキーマに結合して、さまざまな日常シナリオに一般化します。
言語モデルからの注意深いサンプリングは、状況のステレオタイプ的特性を強調し、無関係な詳細を強調するのに役立ち、結果のスキーマが他のシステムで学んだものよりもより包括的に状況を特定することを示す。
関連論文リスト
- Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。
Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。
実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
論文 参考訳（メタデータ） (2024-10-31T16:34:03Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳（メタデータ） (2024-06-24T03:36:29Z) - Drafting Event Schemas using Language Models [48.81285141287434]
複雑なイベントを記述するためにこのようなスキーマを作成するプロセスに注目します。
私たちの焦点は、十分な多様性と重要なイベントのリコールを達成できるかどうかにあります。
大規模言語モデルは、2つの異なるデータセットから取り出されたスキーマに対して適度なリコールを達成することができることを示す。
論文 参考訳（メタデータ） (2023-05-24T07:57:04Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳（メタデータ） (2022-07-21T07:35:18Z) - Hidden Schema Networks [3.4123736336071864]
帰納的バイアスや明示的関係構造を通じて、新しいニューラルネットワークモデルを導入する。
このモデルは文を記号列にエンコードするが、これは偏りのあるランダム・ウォーカーが訪れたノードに対応する。
このモデルにより,ランダムなトークン列のデータセットから基底構造グラフを抽出できることを示す。
論文 参考訳（メタデータ） (2022-07-08T09:26:19Z) - Show, Don't Tell: Demonstrations Outperform Descriptions for
Schema-Guided Task-Oriented Dialogue [27.43338545216015]
Show, Don't TellはSeq2seqモデリングのプロンプトフォーマットで、ショートラベル付きサンプルダイアログを使用してスキーマ要素のセマンティクスを示す。
サービス開発者からも同様の努力を必要とする一方で、大規模な言語モデルによるスキーマ表現としてショートサンプルを使用することで、パフォーマンスが向上し、一般化が向上することを示す。
論文 参考訳（メタデータ） (2022-04-08T23:27:18Z) - Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。
本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T17:35:05Z) - STRIPS Action Discovery [67.73368413278631]
近年のアプローチでは、すべての中間状態が欠如している場合でも、アクションモデルを合成する古典的な計画が成功している。
アクションシグネチャが不明な場合に,従来のプランナーを用いてSTRIPSアクションモデルを教師なしで合成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-30T17:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。