論文の概要: Large Language Models Are Partially Primed in Pronoun Interpretation
- arxiv url: http://arxiv.org/abs/2305.16917v1
- Date: Fri, 26 May 2023 13:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 14:43:44.225251
- Title: Large Language Models Are Partially Primed in Pronoun Interpretation
- Title（参考訳）: 代名詞解釈における大規模言語モデルの部分的素因
- Authors: Suet-Ying Lam, Qingcheng Zeng, Kexun Zhang, Chenyu You, Rob Voigt
- Abstract要約: 大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。
最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。
InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
- 参考スコア（独自算出の注目度）: 6.024776891570197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While a large body of literature suggests that large language models (LLMs)
acquire rich linguistic representations, little is known about whether they
adapt to linguistic biases in a human-like way. The present study probes this
question by asking whether LLMs display human-like referential biases using
stimuli and procedures from real psycholinguistic experiments. Recent
psycholinguistic studies suggest that humans adapt their referential biases
with recent exposure to referential patterns; closely replicating three
relevant psycholinguistic experiments from Johnson & Arnold (2022) in an
in-context learning (ICL) framework, we found that InstructGPT adapts its
pronominal interpretations in response to the frequency of referential patterns
in the local discourse, though in a limited fashion: adaptation was only
observed relative to syntactic but not semantic biases. By contrast, FLAN-UL2
fails to generate meaningful patterns. Our results provide further evidence
that contemporary LLMs discourse representations are sensitive to syntactic
patterns in the local context but less so to semantic patterns. Our data and
code are available at \url{https://github.com/zkx06111/llm_priming}.
- Abstract（参考訳）: 大きな言語モデル(LLM)が豊かな言語表現を取得することを示唆する文献が多数存在するが、それらが人間のように言語バイアスに適応するかどうかはほとんど分かっていない。
本研究は, LLMが実際の心理言語実験から, 刺激や手順を用いて人間のような参照バイアスを呈するかどうかを問うことにより, この問題を調査する。
Recent psycholinguistic studies suggest that humans adapt their referential biases with recent exposure to referential patterns; closely replicating three relevant psycholinguistic experiments from Johnson & Arnold (2022) in an in-context learning (ICL) framework, we found that InstructGPT adapts its pronominal interpretations in response to the frequency of referential patterns in the local discourse, though in a limited fashion: adaptation was only observed relative to syntactic but not semantic biases.
対照的に、FLAN-UL2は意味のあるパターンを生成できない。
この結果から,現代LLMの言論表現は局所的な文脈における構文パターンに敏感であるが,意味パターンには敏感であることを示す。
我々のデータとコードは \url{https://github.com/zkx06111/llm_priming} で利用可能です。
関連論文リスト
- Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-12T04:16:44Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。
我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。
その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
論文 参考訳（メタデータ） (2024-04-29T17:58:36Z) - Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。
驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。
本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
論文 参考訳（メタデータ） (2024-02-01T19:25:50Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。
この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文 参考訳（メタデータ） (2022-07-20T04:20:46Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳（メタデータ） (2021-10-17T18:25:23Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - Discourse structure interacts with reference but not syntax in neural
language models [17.995905582226463]
本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。
人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。
以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-10T03:14:00Z) - Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。
13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。
どちらのモデルも、SUDよりもUDを好むことが分かりました。
論文 参考訳（メタデータ） (2020-04-29T11:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。