論文の概要: PROPRES: Investigating the Projectivity of Presupposition with Various Triggers and Environments

• arxiv url: http://arxiv.org/abs/2312.08755v1
• Date: Thu, 14 Dec 2023 09:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:12:23.996005
• Title: PROPRES: Investigating the Projectivity of Presupposition with Various Triggers and Environments
• Title（参考訳）: PROPRES:様々なトリガーと環境による仮定の射影性の調査
• Authors: Daiki Asami and Saku Sugawara
• Abstract要約: 我々は新しいデータセット、PROPRES(PROPRES)を導入する。 人間の評価は、ある場合において、人間が様々な射影性を示すことを示している。 本研究は, 実用的推論の探索研究は, 人間の判断の多様性を余分に考慮する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 13.896697187967547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What makes a presupposition of an utterance -- information taken for granted by its speaker -- different from other pragmatic inferences such as an entailment is projectivity (e.g., the negative sentence the boy did not stop shedding tears presupposes the boy had shed tears before). The projectivity may vary depending on the combination of presupposition triggers and environments. However, prior natural language understanding studies fail to take it into account as they either use no human baseline or include only negation as an entailment-canceling environment to evaluate models' performance. The current study attempts to reconcile these issues. We introduce a new dataset, projectivity of presupposition (PROPRES, which includes 12k premise-hypothesis pairs crossing six triggers involving some lexical variety with five environments. Our human evaluation reveals that humans exhibit variable projectivity in some cases. However, the model evaluation shows that the best-performed model, DeBERTa, does not fully capture it. Our findings suggest that probing studies on pragmatic inferences should take extra care of the human judgment variability and the combination of linguistic items.
• Abstract（参考訳）: 例えば、少年が涙を流すのをやめなかった否定的な文は、少年が以前に涙を流したと仮定している)。 プロジェクティビティは、前提となるトリガーと環境の組み合わせによって異なりうる。 しかし、従来の自然言語理解研究は、人間のベースラインを使わないか、あるいはモデルの性能を評価するための複雑な環境として否定しか含まないため、それを考慮しない。 現在の研究ではこれらの問題を整理しようと試みている。 5つの環境を持つ語彙の多様性を含む6つのトリガーを横断する12kの前提-仮説ペアを含む新しいデータセット、PROPRESを導入する。 人間による評価では、ある場合において、人間は可変射影性を示すことが判明する。 しかし、モデル評価は、最高のパフォーマンスのモデルであるDeBERTaが完全にはキャプチャしていないことを示している。 以上の結果から,実用的推論の探索研究は,人間の判断の多様性と言語項目の組み合わせを考慮すべきであることが示唆された。

関連論文リスト

• FairPair: A Robust Evaluation of Biases in Language Models through Paired Perturbations [33.24762796282484]
  常用時に発生する差分処理を評価するための評価フレームワークであるFairPairについて述べる。 従来の手法と異なり,本手法は,サンプリングのばらつきを計測することによって,生成プロセス自体から生じる固有変数に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-04-09T21:09:22Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Using Artificial Populations to Study Psychological Phenomena in Neural Models [0.0]
  言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:47:51Z)
• Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction [52.05304897163256]
  トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。 具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。 さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:49:06Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities [19.659811811023374]
  言語モデルから構文予測可能性を推定する手法を提案する。 構文的予測可能性と語彙的予測可能性とを独立に扱うことで,園路効果のより大きい推定結果が得られた。 本研究は, 庭道文に付随する処理コストの要因は, 予測可能性だけではないという仮説を支持する。
  論文  参考訳（メタデータ） (2022-10-21T18:30:56Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。