論文の概要: Can Peanuts Fall in Love with Distributional Semantics?
- arxiv url: http://arxiv.org/abs/2301.08731v2
- Date: Mon, 22 May 2023 17:51:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 04:28:52.891545
- Title: Can Peanuts Fall in Love with Distributional Semantics?
- Title(参考訳): ピーナッツは分布意味論に恋をするか?
- Authors: James A. Michaelov, Seana Coulson, Benjamin K. Bergen
- Abstract要約: 最近の研究によると、N400振幅は分布情報だけで予測可能である。
状況モデルを通して説明される少なくとも一部の処理効果は、実際には明示的な状況モデルを必要としないかもしれない。
- 参考スコア(独自算出の注目度): 0.5156484100374059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context changes expectations about upcoming words - following a story
involving an anthropomorphic peanut, comprehenders expect the sentence the
peanut was in love more than the peanut was salted, as indexed by N400
amplitude (Nieuwland & van Berkum, 2006). This updating of expectations has
been explained using Situation Models - mental representations of a described
event. However, recent work showing that N400 amplitude is predictable from
distributional information alone raises the question whether situation models
are necessary for these contextual effects. We model the results of Nieuwland
and van Berkum (2006) using six computational language models and three sets of
word vectors, none of which have explicit situation models or semantic
grounding. We find that a subset of these can fully model the effect found by
Nieuwland and van Berkum (2006). Thus, at least some processing effects
normally explained through situation models may not in fact require explicit
situation models.
- Abstract(参考訳): 人為的なピーナッツに関する話に続いて、コンプレンダーはピーナッツが塩漬けされたピーナッツよりも愛されていたという文を、n400振幅(nieuwland & van berkum, 2006)のインデックスで予想している。
この期待の更新は、記述されたイベントの心的表現である状況モデルを使って説明されている。
しかし, 分布情報だけでN400振幅が予測可能であることを示す最近の研究は, これらの文脈効果に状況モデルが必要かどうかを疑問視している。
我々は6つの計算言語モデルと3組のワードベクトルを用いて、Nieuwland と van Berkum (2006) の結果をモデル化した。
これらの部分集合は Nieuwland と van Berkum (2006) によって発見された効果を完全にモデル化できる。
したがって、状況モデルによって説明される少なくともいくつかの処理効果は、実際には明示的な状況モデルを必要としない可能性がある。
関連論文リスト
- Pointing out the Shortcomings of Relation Extraction Models with
Semantically Motivated Adversarials [2.8402080392117757]
本稿では,エンティティの言及を置き換えることで,敵対的な例を生成するための意味論的動機付け戦略について述べる。
分析の結果,これらのモデルの性能は修正データセットで著しく低下していることがわかった。
論文 参考訳(メタデータ) (2024-02-29T12:01:46Z) - Understanding How Model Size Affects Few-shot Instruction Prompting [0.0]
モデルのサイズが与えられた文脈における単語の意味を識別するモデルの能力にどのように影響するかを検討する。
我々はDeltaWordsと呼ばれるデータセットを導入し、モデルが指示に従う能力を評価する。
モデルのサイズが大きくなるにつれてタスクの精度が低下する、弱い逆スケーリング傾向を示す。
論文 参考訳(メタデータ) (2022-12-04T19:59:52Z) - Montague semantics and modifier consistency measurement in neural
language models [1.6799377888527685]
本研究では,現代言語モデルにおける構成行動を測定する手法を提案する。
具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。
実験結果から,現在のニューラル言語モデルが期待される言語理論に従って,限られた範囲でのみ動作することが示唆された。
論文 参考訳(メタデータ) (2022-10-10T18:43:16Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳(メタデータ) (2022-04-17T15:55:18Z) - Partial Order in Chaos: Consensus on Feature Attributions in the
Rashomon Set [50.67431815647126]
ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。
この手法により局所的・言語的特徴の半順序が生じることを示す。
これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
論文 参考訳(メタデータ) (2021-10-26T02:53:14Z) - Revisiting Rashomon: A Comment on "The Two Cultures" [95.81740983484471]
Breiman氏は「Rashomon Effect」と呼び、予測精度基準を等しく満たす多くのモデルが存在するが、情報を実質的に異なる方法で処理する状況について説明した。
この現象は、データに適合するモデルに基づいて結論を導き出すか、意思決定を自動化することを困難にします。
私は、この問題の意義を探求する機械学習文学における最近の研究と関係しています。
論文 参考訳(メタデータ) (2021-04-05T20:51:58Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - What do we expect from Multiple-choice QA Systems? [70.86513724662302]
複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。
このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
論文 参考訳(メタデータ) (2020-11-20T21:27:10Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳(メタデータ) (2020-09-11T16:35:53Z) - Interventions and Counterfactuals in Tractable Probabilistic Models:
Limitations of Contemporary Transformations [12.47276164048813]
本研究では,SPNを因果グラフ介入推論に変換すると,限界分布の計算に還元されることを示す。
まず,PSDDから因果グラフを構築するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-29T15:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。