論文の概要: Developments in Sheaf-Theoretic Models of Natural Language Ambiguities
- arxiv url: http://arxiv.org/abs/2402.04505v2
- Date: Tue, 01 Oct 2024 09:54:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:33:40.598652
- Title: Developments in Sheaf-Theoretic Models of Natural Language Ambiguities
- Title(参考訳): 自然言語あいまいさのせん断理論モデルの開発
- Authors: Kin Ian Lo, Mehrnoosh Sadrzadeh, Shane Mansfield,
- Abstract要約: シーブは位相空間を構成する基底と、その開集合に関連するデータからなる数学的対象である。
後者のモデルは、語彙的あいまいさからアナフォラから生じる言論的あいまいさまで拡張する。
- 参考スコア(独自算出の注目度): 0.7373617024876724
- License:
- Abstract: Sheaves are mathematical objects consisting of a base which constitutes a topological space and the data associated with each open set thereof, e.g. continuous functions defined on the open sets. Sheaves have originally been used in algebraic topology and logic. Recently, they have also modelled events such as physical experiments and natural language disambiguation processes. We extend the latter models from lexical ambiguities to discourse ambiguities arising from anaphora. To begin, we calculated a new measure of contextuality for a dataset of basic anaphoric discourses, resulting in a higher proportion of contextual models-82.9%-compared to previous work which only yielded 3.17% contextual models. Then, we show how an extension of the natural language processing challenge, known as the Winograd Schema, which involves anaphoric ambiguities can be modelled on the Bell-CHSH scenario with a contextual fraction of 0.096.
- Abstract(参考訳): シーブは位相空間を構成する基底と、その開集合に関連するデータ、例えば開集合上で定義される連続函数からなる数学的対象である。
シーブはもともと代数的トポロジーや論理学で使われてきた。
近年,物理実験や自然言語の曖昧化といった現象もモデル化されている。
後者のモデルは、語彙的あいまいさからアナフォラから生じる言論的あいまいさまで拡張する。
まず,基礎的アナフォリックな言説のデータセットに対する文脈性の新たな尺度を計算し,文脈モデルの割合が82.9%と,文脈モデルが3.17%しか得られなかったことと比較した。
次に,解析的曖昧性を含む自然言語処理課題であるWinograd Schemaの拡張を,文脈的割合0.096でBell-CHSHシナリオでモデル化する方法を示す。
関連論文リスト
- How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳(メタデータ) (2022-05-14T11:47:58Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳(メタデータ) (2022-01-19T14:15:41Z) - Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。
本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。
このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
論文 参考訳(メタデータ) (2021-10-19T15:44:28Z) - Decomposing lexical and compositional syntax and semantics with deep
language models [82.81964713263483]
GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。
本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。
その結果は2つの結果が浮かび上がった。
まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
論文 参考訳(メタデータ) (2021-03-02T10:24:05Z) - Language Models for Lexical Inference in Context [4.581468205348204]
文脈における語彙推論(英: Lexical inference in context, LIiC)とは、2つの非常に類似した文間のテキストの含意を認識するタスクである。
本稿では,この課題に対する事前学習言語モデル(LM)に基づいて,最初のアプローチを定式化し,評価する。
LIiC に対する事前訓練による LM の可能性が示された。
論文 参考訳(メタデータ) (2021-02-10T09:08:22Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳(メタデータ) (2020-11-22T17:28:50Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。