論文の概要: Probing Language Models for Understanding of Temporal Expressions
- arxiv url: http://arxiv.org/abs/2110.01113v1
- Date: Sun, 3 Oct 2021 22:38:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:38:18.961649
- Title: Probing Language Models for Understanding of Temporal Expressions
- Title(参考訳): 時間表現理解のための言語モデル探索
- Authors: Shivin Thukral, Kunal Kukreja, Christian Kavouras
- Abstract要約: 時間的表現の理解に基づいてNLIモデルを評価することができる3つの自然言語推論(NLI)課題セットを提案する。
我々はこれらのモデルを3つの時間的特性に対して探索する: (a) 時間内の点間の順序、 (b) 時間内の2点間の時間、 (c) 異なる単位で指定された時間の大きさの間の関係。
MNLIで微調整された大規模言語モデルでは,時間内の点間の順序に対する基本的な認識がある程度あるが,時間的表現の関係を十分に理解していないことが判明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present three Natural Language Inference (NLI) challenge sets that can
evaluate NLI models on their understanding of temporal expressions. More
specifically, we probe these models for three temporal properties: (a) the
order between points in time, (b) the duration between two points in time, (c)
the relation between the magnitude of times specified in different units. We
find that although large language models fine-tuned on MNLI have some basic
perception of the order between points in time, at large, these models do not
have a thorough understanding of the relation between temporal expressions.
- Abstract(参考訳): 時間的表現の理解に基づいてNLIモデルを評価することができる3つの自然言語推論(NLI)課題セットを提案する。
より具体的には、これらのモデルを3つの時間的特性に対して探索する。
(a)時間内の点間の順序
b) 時間内の2点間の期間
(c)異なる単位で指定された時間の大きさの関係
MNLIで微調整された大規模言語モデルでは,時間内の点間の順序に対する基本的な認識がある程度あるが,時間的表現の関係を十分に理解していない。
関連論文リスト
- Arrows of Time for Large Language Models [0.0]
本稿では,自己回帰型大規模言語モデルによる確率論的モデリングを時間方向の角度から検討する。
我々は、そのようなモデルが自然言語をモデル化する能力で示す時間非対称性を経験的に見出す。
論文 参考訳(メタデータ) (2024-01-30T23:46:35Z) - An Overview Of Temporal Commonsense Reasoning and Acquisition [20.108317515225504]
時間的コモンセンス推論(英: Temporal Commonsense reasoning)とは、フレーズ、行動、出来事の典型的な時間的文脈を理解する能力である。
大規模言語モデルの性能に関する最近の研究は、しばしば推論においてショートカットを行い、単純な言語トラップに陥ることが示唆されている。
論文 参考訳(メタデータ) (2023-07-28T01:30:15Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-05-17T22:02:24Z) - Unified Graph Structured Models for Video Understanding [93.72081456202672]
リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。
本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
論文 参考訳(メタデータ) (2021-03-29T14:37:35Z) - Affective Processes: stochastic modelling of temporal context for
emotion and facial expression recognition [38.47712256338113]
ニューラルプロセス(Neural Processes)の枠組みに基づき,3つの主成分を用いた感情認識手法を提案する。
提案手法は,Valence と Arousal の2つのデータベースと,Action Unit のインテンシティ推定の2つのデータベースで検証する。
その結果、一連の強いベースラインや最先端の手法よりも一貫した改善が見られた。
論文 参考訳(メタデータ) (2021-03-24T17:48:19Z) - Progressive Localization Networks for Language-based Moment Localization [56.54450664871467]
本稿では,言語に基づくモーメントローカライゼーションの課題に焦点を当てる。
既存のほとんどの手法は、まず時間長の候補モーメントをサンプリングし、そのモーメントを決定するために与えられたクエリとマッチングする。
本稿では,ターゲットモーメントを粗い方法で段階的に局所化する多段階プログレッシブ・ローカライゼーション・ネットワーク(PLN)を提案する。
論文 参考訳(メタデータ) (2021-02-02T03:45:59Z) - Multi-Scale 2D Temporal Adjacent Networks for Moment Localization with
Natural Language [112.32586622873731]
自然言語による未編集映像から特定の瞬間を検索する問題に対処する。
我々は、時間スケールの異なる2次元マップのセットを用いて、ビデオモーメント間の時間的文脈をモデル化する。
モーメントローカライゼーションのためのシングルショットフレームワークであるMS-2D-TAN(Multi-Scale Temporal Adjacent Network)を提案する。
論文 参考訳(メタデータ) (2020-12-04T15:09:35Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z) - Temporal Information Extraction by Predicting Relative Time-lines [30.060559390097314]
本稿では,(抽出された)時間関係の集合から線形時間線を構築するための新しい手法を提案する。
本パラダイムでは,線形複雑性を予測する2つのモデルと,TimeMLスタイルのアノテーションを用いた新たなトレーニング損失を提案する。
論文 参考訳(メタデータ) (2018-08-28T16:46:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。