論文の概要: Can Peanuts Fall in Love with Distributional Semantics?

• arxiv url: http://arxiv.org/abs/2301.08731v1
• Date: Fri, 20 Jan 2023 18:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-23 12:45:06.790977
• Title: Can Peanuts Fall in Love with Distributional Semantics?
• Title（参考訳）: ピーナッツは分布意味論に恋をするか?
• Authors: James A. Michaelov, Seana Coulson, Benjamin K. Bergen
• Abstract要約: 実験参加者は、人為的なピーナッツを含む短い話の後、「ピーナッツは塩漬け」よりも「ピーナッツが恋に落ちた」という文を期待する傾向が強い。 コンプレッシャーの期待の迅速かつダイナミックな更新は、状況モデルの構成を用いて説明されてきた。 分布情報のみに基づいてN400振幅を予測できることを示す最近の研究は、過去の研究で観測された文脈効果の種類に状況モデルが実際に必要かどうかを疑問視している。
• 参考スコア（独自算出の注目度）: 0.5156484100374059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The context in which a sentence appears can drastically alter our expectations about upcoming words - for example, following a short story involving an anthropomorphic peanut, experimental participants are more likely to expect the sentence 'the peanut was in love' than 'the peanut was salted', as indexed by N400 amplitude (Nieuwland & van Berkum, 2006). This rapid and dynamic updating of comprehenders' expectations about the kind of events that a peanut may take part in based on context has been explained using the construct of Situation Models - updated mental representations of key elements of an event under discussion, in this case, the peanut protagonist. However, recent work showing that N400 amplitude can be predicted based on distributional information alone raises the question whether situation models are in fact necessary for the kinds of contextual effects observed in previous work. To investigate this question, we attempt to model the results of Nieuwland and van Berkum (2006) using six computational language models and three sets of word vectors, none of which have explicit situation models or semantic grounding. We find that the effect found by Nieuwland and van Berkum (2006) can be fully modeled by two language models and two sets of word vectors, with others showing a reduced effect. Thus, at least some processing effects normally explained through situation models may not in fact require explicit situation models.
• Abstract（参考訳）: 例えば、人為的なピーナッツを含む短い話の後、実験参加者は、N400振幅(Nieuwland & van Berkum, 2006)で示されるように、「ピーナッツは塩漬けだった」という文よりも「ピーナッツは愛していた」という文を期待する傾向にある。 状況モデル - 議論中のイベントの重要な要素の心的表現の更新、この場合、ピーナッツの主人公は、文脈に基づいてピーナッツが関与する可能性のあるイベントの種類について、コンプレッシャーの予想を迅速かつ動的に更新する。 しかし,近年の研究では,N400振幅が分布情報のみに基づいて予測できることが示されており,過去の研究で観測された文脈効果に状況モデルが実際に必要かどうかが疑問視されている。 そこで本研究では,6つの計算言語モデルと3組の単語ベクトルを用いて,nieuwland と van berkum (2006) の結果をモデル化する。 nieuwland と van berkum (2006) が発見した効果は、2つの言語モデルと2つの単語ベクトルセットによって完全にモデル化できる。 したがって、状況モデルによって説明される少なくともいくつかの処理効果は、実際には明示的な状況モデルを必要としない可能性がある。

関連論文リスト

• How Far is Video Generation from World Model: A Physical Law Perspective [101.24278831609249]
  OpenAIのSoraは、物理法則に準拠した世界モデルを開発するためのビデオ生成の可能性を強調している。 しかし、ビデオ生成モデルが人間の先行しない視覚データから純粋にそのような法則を発見する能力に疑問を投げかけることができる。 本研究は,3つの主要なシナリオ – 分布内,分布外,一般化 – について評価する。
  論文  参考訳（メタデータ） (2024-11-04T18:53:05Z)
• Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models [0.1227734309612871]
  より大型のモデルからのデータを持つ微調整言語モデルは類似しているように見えるが、より大型のモデルよりも幻覚を呈することが多い。 1つの仮説は、より大きなモデルによって生成されたデータ上でモデルを微調整すると、幻覚に寄与する知識のミスマッチにつながるというものである。 未確認テストセットでは、より大きなモデルから生成されたデータに基づいて微調整された小さなモデルの方が、小さなモデルによって生成されたデータに基づいて微調整されたモデルと比較して、より間違った回答を得られることを示す。
  論文  参考訳（メタデータ） (2024-10-31T13:01:46Z)
• Pointing out the Shortcomings of Relation Extraction Models with Semantically Motivated Adversarials [2.8402080392117757]
  本稿では,エンティティの言及を置き換えることで,敵対的な例を生成するための意味論的動機付け戦略について述べる。 分析の結果,これらのモデルの性能は修正データセットで著しく低下していることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T12:01:46Z)
• Understanding How Model Size Affects Few-shot Instruction Prompting [0.0]
  モデルのサイズが与えられた文脈における単語の意味を識別するモデルの能力にどのように影響するかを検討する。 我々はDeltaWordsと呼ばれるデータセットを導入し、モデルが指示に従う能力を評価する。 モデルのサイズが大きくなるにつれてタスクの精度が低下する、弱い逆スケーリング傾向を示す。
  論文  参考訳（メタデータ） (2022-12-04T19:59:52Z)
• Montague semantics and modifier consistency measurement in neural language models [1.6799377888527685]
  本研究では,現代言語モデルにおける構成行動を測定する手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。 実験結果から,現在のニューラル言語モデルが期待される言語理論に従って,限られた範囲でのみ動作することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T18:43:16Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations [12.47276164048813]
  本研究では,SPNを因果グラフ介入推論に変換すると,限界分布の計算に還元されることを示す。 まず,PSDDから因果グラフを構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-29T15:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。