論文の概要: Do Language Models Exhibit Human-like Structural Priming Effects?

• arxiv url: http://arxiv.org/abs/2406.04847v1
• Date: Fri, 7 Jun 2024 11:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:20:58.747898
• Title: Do Language Models Exhibit Human-like Structural Priming Effects?
• Title（参考訳）: 言語モデルは人間のような構造的プライミング効果を表わすか?
• Authors: Jaap Jumelet, Willem Zuidema, Arabella Sinclair,
• Abstract要約: 本稿では,言語モデル予測に影響を与える言語要因について検討する。 我々は、構造的プライミングのパラダイムを利用し、最近の構造への露出は、同じ構造の処理を容易にする。 これらの効果は、人間のプライミングで知られている逆周波数効果によって説明でき、プライミング効果はプライミング効果を増大させる。
• 参考スコア（独自算出の注目度）: 3.4435563735186747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore which linguistic factors -- at the sentence and token level -- play an important role in influencing language model predictions, and investigate whether these are reflective of results found in humans and human corpora (Gries and Kootstra, 2017). We make use of the structural priming paradigm, where recent exposure to a structure facilitates processing of the same structure. We don't only investigate whether, but also where priming effects occur, and what factors predict them. We show that these effects can be explained via the inverse frequency effect, known in human priming, where rarer elements within a prime increase priming effects, as well as lexical dependence between prime and target. Our results provide an important piece in the puzzle of understanding how properties within their context affect structural prediction in language models.
• Abstract（参考訳）: 文とトークンレベルにおいて、どの言語要因が言語モデル予測に影響を与えるのかを探索し、これらがヒトとヒトのコーパスに見られる結果の反映であるかどうかを考察する(Gries and Kootstra, 2017)。 我々は、構造的プライミングのパラダイムを利用し、最近の構造への露出は、同じ構造の処理を容易にする。 我々は、プライミング効果がどこで起こるのか、どの要因がそれらを予測するのかを調査するだけでなく、調査する。 これらの効果は、ヒトのプライミングにおける逆周波数効果によって説明でき、プライマー内の稀な要素はプライマーのプライマー効果を増大させ、プライマーとターゲット間の語彙依存性を増大させる。 本研究は,言語モデルにおける特徴が構造的予測にどのように影響するかを理解するためのパズルにおいて重要なピースを提供する。

関連論文リスト

• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• The Hydra Effect: Emergent Self-repair in Language Model Computations [8.323441767835257]
  因果解析を用いた言語モデル計算の内部構造について検討する。 1) 言語モデルの1つの注意層のアブレーションによって別のレイヤが別のレイヤを発生させる適応型計算の形式を示す。 我々はこれらの効果を事実記憶の文脈で分析し、それらが言語モデルにおける回路レベルの属性に与える影響を考察する。
  論文  参考訳（メタデータ） (2023-07-28T19:13:26Z)
• Traceability and Reuse Mechanisms, the most important Properties of Model Transformation Languages [1.4685355149711299]
  本研究の目的は,調査結果を定量的に評価し,異なる要因による影響を確認し,否定することである。 その結果,トラシングと再利用のメカニズムは全体として最も重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-11T12:35:03Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Discourse Context Predictability Effects in Hindi Word Order [14.88833412862455]
  文中の単語と構文構造が次の文の語順にどのように影響するかを検討する。 我々は,言論に基づく多くの特徴と認知的特徴を用いて,依存関係の長さ,前提,情報状態などの予測を行う。 情報ステータスとLSTMに基づく談話予測が単語の順序選択に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T11:53:01Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training [60.825471653739555]
  音素領域因子は事前学習において重要な役割を担っているが,文法的・統語的要因はそれほど重要ではない。 本研究は,音声認識のための自己教師付き事前学習における事前学習セットのドメイン特性をよりよく理解するための最初の研究である。
  論文  参考訳（メタデータ） (2022-03-01T17:40:51Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor [70.71045044998043]
  知識蒸留の目的的機能は、典型的には教師と学生の出力分布の相互エントロピーである。 構造化予測問題の場合、出力空間は指数関数的である。 本稿では, 構造的知識の蒸留における, シーケンスラベリングと依存性解析モデル間のトラクタビリティと実証的有効性を示す。
  論文  参考訳（メタデータ） (2020-10-10T14:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。