論文の概要: EvEval: A Comprehensive Evaluation of Event Semantics for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.15268v1
• Date: Wed, 24 May 2023 15:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 14:42:16.725206
• Title: EvEval: A Comprehensive Evaluation of Event Semantics for Large Language Models
• Title（参考訳）: EvEval: 大規模言語モデルのためのイベントセマンティクスの総合評価
• Authors: Zhengwei Tao, Zhi Jin, Xiaoying Bai, Haiyan Zhao, Yanlin Feng, Jia Li, Wenpeng Hu
• Abstract要約: イベントは様々な文脈で発生の基本的な単位として機能する。 最近の研究は、イベントセマンティック処理に対処するために大きな言語モデル(LLM)を活用し始めている。 本稿では,イベントセマンティック処理における理解,推論,予測を包含する包括的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.704144542866636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Events serve as fundamental units of occurrence within various contexts. The processing of event semantics in textual information forms the basis of numerous natural language processing (NLP) applications. Recent studies have begun leveraging large language models (LLMs) to address event semantic processing. However, the extent that LLMs can effectively tackle these challenges remains uncertain. Furthermore, the lack of a comprehensive evaluation framework for event semantic processing poses a significant challenge in evaluating these capabilities. In this paper, we propose an overarching framework for event semantic processing, encompassing understanding, reasoning, and prediction, along with their fine-grained aspects. To comprehensively evaluate the event semantic processing abilities of models, we introduce a novel benchmark called EVEVAL. We collect 8 datasets that cover all aspects of event semantic processing. Extensive experiments are conducted on EVEVAL, leading to several noteworthy findings based on the obtained results.
• Abstract（参考訳）: イベントは様々な文脈で発生の基本的な単位として機能する。 テキスト情報におけるイベントセマンティクスの処理は、多くの自然言語処理(NLP)アプリケーションの基礎を形成する。 最近の研究は、イベントセマンティック処理に対処するために大きな言語モデル(LLM)を活用し始めている。 しかし、LLMがこれらの課題に効果的に対処できる範囲は、まだ不明である。 さらに、イベントセマンティクス処理のための包括的な評価フレームワークが欠如していることは、これらの能力を評価する上で大きな課題となる。 本稿では, イベントセマンティック処理の網羅的枠組みを提案し, 理解, 推論, 予測を包含し, そのきめ細かい側面を包含する。 モデルのイベントセマンティック処理能力を総合的に評価するために,EVEVALと呼ばれる新しいベンチマークを導入する。 イベントセマンティクス処理のすべての側面をカバーする8つのデータセットを収集します。 EVEVALで大規模な実験を行い、得られた結果に基づいていくつかの注目すべき結果を得た。

関連論文リスト

• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,与えられた入力とインコンテキストの相互作用をモデル化するために,DPP(Determinantal Point Processes)によってインスタンス化されるCEILを提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
  残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。 特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-10T07:48:01Z)
• Semantic Pivoting Model for Effective Event Detection [19.205550116466604]
  Event Detectionは、構造化されていない記事からイベントインスタンスの参照を識別し、分類することを目的としている。 イベント検出の既存のテクニックは、イベントタイプクラスを表現するために、均質な1ホットベクトルのみを使用しており、型の意味がタスクにとって重要であるという事実を無視している。 本稿では,学習中の事前情報を明示的に組み込んで,入力とイベント間の意味的に意味のある相関関係を捉えるセマンティック・ピロリング・モデル(SPEED)を提案する。
  論文  参考訳（メタデータ） (2022-11-01T19:20:34Z)
• Zero-Shot On-the-Fly Event Schema Induction [61.91468909200566]
  本稿では,大規模な言語モデルを用いて,高レベルなイベント定義,特定のイベント,引数,それらの関係を予測・付与するソースドキュメントを生成する手法を提案する。 我々のモデルを用いて、任意のトピックに関する完全なスキーマを、手動のデータ収集、すなわちゼロショットの方法で、オンザフライで生成することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:37:00Z)
• Actuarial Applications of Natural Language Processing Using Transformers: Case Studies for Using Text Features in an Actuarial Context [0.0]
  このチュートリアルは、テキストデータをアクチュアリ分類と回帰タスクに組み込むことを実証する。 主な焦点はトランスフォーマーモデルを用いた手法である。 このケーススタディは、多言語設定と長い入力シーケンスに関連する課題に取り組む。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)
• Reliable Shot Identification for Complex Event Detection via Visual-Semantic Embedding [72.9370352430965]
  本稿では,映像中の事象検出のための視覚的意味的誘導損失法を提案する。 カリキュラム学習に動機付け,高い信頼性の事例で分類器の訓練を開始するために,負の弾性正規化項を導入する。 提案する非ネット正規化問題の解法として,代替最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-12T11:46:56Z)
• Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
  本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。 我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
  論文  参考訳（メタデータ） (2021-09-13T20:50:37Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。