論文の概要: Connecting degree and polarity: An artificial language learning study

• arxiv url: http://arxiv.org/abs/2109.06333v2
• Date: Thu, 19 Oct 2023 18:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 15:47:45.929028
• Title: Connecting degree and polarity: An artificial language learning study
• Title（参考訳）: 接続度と極性:人工言語学習研究
• Authors: Lisa Bylinina, Alexey Tikhonov, Ekaterina Garmash
• Abstract要約: 我々は、修飾子の表現する度合いが、修飾子の文の極性に対する感度に関係しているという仮説を検証した。 本稿では、心理言語学からニューラルネットワークモデルへの人工言語学習実験パラダイムの適用について述べる。 実験結果から,BERTは次数意味論と極性感度を関連づけた既存の言語学的観察と一致して一般化することが示唆された。
• 参考スコア（独自算出の注目度）: 13.82735766201496
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We investigate a new linguistic generalization in pre-trained language models (taking BERT (Devlin et al., 2019) as a case study). We focus on degree modifiers (expressions like slightly, very, rather, extremely) and test the hypothesis that the degree expressed by a modifier (low, medium or high degree) is related to the modifier's sensitivity to sentence polarity (whether it shows preference for affirmative or negative sentences or neither). To probe this connection, we apply the Artificial Language Learning experimental paradigm from psycholinguistics to a neural language model. Our experimental results suggest that BERT generalizes in line with existing linguistic observations that relate degree semantics to polarity sensitivity, including the main one: low degree semantics is associated with preference towards positive polarity.
• Abstract（参考訳）: 事前学習された言語モデルにおける新しい言語一般化(bert(devlin et al., 2019)を事例として検討する。 次数修飾器(わずかに、非常に、極端に表現する)に焦点を当て、修飾器で表される次数(低、中、高次)が文極性に対する修飾器の感度(肯定的あるいは否定的な文の好みを示すかどうか)に関係しているという仮説をテストする。 この関係を調べるために,心理言語学からニューラルネットワークモデルへの人工言語学習実験パラダイムを適用する。 実験の結果,BERTは,次数意味論と極性感度を関連づける既存の言語学的観察と一致し,低次意味論は正の極性への嗜好と結びついていることが示唆された。

関連論文リスト

• Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
  大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。 最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。 InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:30:48Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Transformers in the loop: Polarity in neural models of language [0.20305676256390934]
  我々は2つの事前学習されたトランスフォーマーモデルにおいて、いわゆる「負極性アイテム」を介して極性を探索する。 言語モデルから得られたメトリクスは、言語理論の予測よりも、心理言語実験のデータと一致していることを示す。
  論文  参考訳（メタデータ） (2021-09-08T20:56:32Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• ABNIRML: Analyzing the Behavior of Neural IR Models [45.74073795558624]
  BERTやT5のような事前訓練された言語モデルは、アドホック検索のための新しい最先端技術を確立した。 ニューラルIRモードL(ABNIRML)の挙動解析のための包括的枠組みを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。
  論文  参考訳（メタデータ） (2020-11-02T03:07:38Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
  本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。 13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。 どちらのモデルも、SUDよりもUDを好むことが分かりました。
  論文  参考訳（メタデータ） (2020-04-29T11:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。