論文の概要: Abstraction via exemplars? A representational case study on lexical category inference in BERT

• arxiv url: http://arxiv.org/abs/2312.03708v1
• Date: Fri, 3 Nov 2023 18:45:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 03:19:46.974262
• Title: Abstraction via exemplars? A representational case study on lexical category inference in BERT
• Title（参考訳）: 例題による抽象化? BERTにおける語彙カテゴリー推論の表現的ケーススタディ
• Authors: Kanishka Misra, Najoung Kim
• Abstract要約: 本研究では,Nun/Verb/Adjective/Adverbなどの語彙カテゴリに属する新しいトークンの利用を,LMが一般化する方法について検討する。 この結果から,学習者による模範語エンコーディングが,行動の抽象化につながることが示唆された。
• 参考スコア（独自算出の注目度）: 18.55453292530516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exemplar based accounts are often considered to be in direct opposition to pure linguistic abstraction in explaining language learners' ability to generalize to novel expressions. However, the recent success of neural network language models on linguistically sensitive tasks suggests that perhaps abstractions can arise via the encoding of exemplars. We provide empirical evidence for this claim by adapting an existing experiment that studies how an LM (BERT) generalizes the usage of novel tokens that belong to lexical categories such as Noun/Verb/Adjective/Adverb from exposure to only a single instance of their usage. We analyze the representational behavior of the novel tokens in these experiments, and find that BERT's capacity to generalize to unseen expressions involving the use of these novel tokens constitutes the movement of novel token representations towards regions of known category exemplars in two-dimensional space. Our results suggest that learners' encoding of exemplars can indeed give rise to abstraction like behavior.
• Abstract（参考訳）: 経験に基づく説明は、言語学習者が新しい表現に一般化する能力を説明する際に、純粋言語抽象に対して直接反対であると考えられることが多い。 しかし、近年の言語に敏感なタスクにおけるニューラルネットワーク言語モデルの成功は、おそらく抽象概念が例の符号化によって生じることを示唆している。 我々は、LM(BERT)が、Noun/Verb/Adjective/Adverbのような語彙圏に属する新しいトークンの使用を、その使用例の1つだけへの露出から一般化する、既存の実験を適用して、この主張に対する実証的な証拠を提供する。 これらの実験において, 新規トークンの表現行動を分析し, bert が未知表現に一般化する能力は, 2次元空間における既知のカテゴリの領域への新規トークン表現の移動を構成することを見出した。 この結果から,学習者による模範語エンコーディングが,行動の抽象化につながることが示唆された。

関連論文リスト

• On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
  論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。 興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
  論文  参考訳（メタデータ） (2024-10-03T17:18:03Z)
• Examining Language Modeling Assumptions Using an Annotated Literary Dialect Corpus [0.0]
  19世紀のアメリカの文学的変種トークンのデータセットを,人間の注釈付き方言群タグの新たな層で提示する。 意図的な正書法変化によって生じる「方言効果」が複数の言語チャネルを取り入れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T16:58:21Z)
• Neural Semantic Parsing with Extremely Rich Symbolic Meaning Representations [7.774674200374255]
  分類学的階層におけるその位置に基づく概念のための新しい構成記号表現を導入する。 この表現はよりリッチな意味情報を提供し、解釈可能性を高める。 実験結果から,より豊かで複雑な意味表現に基づいて訓練された分類モデルは,評価基準を用いて従来のモデルに若干従属するが,語彙外概念を扱う場合よりも優れることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T08:06:01Z)
• Learning with Language-Guided State Abstractions [58.199148890064826]
  高次元観測空間における一般化可能なポリシー学習は、よく設計された状態表現によって促進される。 我々の手法であるLGAは、自然言語の監視と言語モデルからの背景知識を組み合わせて、目に見えないタスクに適した状態表現を自動構築する。 シミュレーションされたロボットタスクの実験では、LGAは人間によって設計されたものと同様の状態抽象化をもたらすが、そのほんの少しの時間で得られる。
  論文  参考訳（メタデータ） (2024-02-28T23:57:04Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Learning an Artificial Language for Knowledge-Sharing in Multilingual Translation [15.32063273544696]
  コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。 我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。 また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
  論文  参考訳（メタデータ） (2022-11-02T17:14:42Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Sense representations for Portuguese: experiments with sense embeddings and deep neural language models [0.0]
  教師なしの感覚表現は、その文脈意味をテキストで分析することによって、単語の異なる感覚を誘導することができる。 ポルトガル語への感性埋め込みを創出するための最初の実験について述べる。
  論文  参考訳（メタデータ） (2021-08-31T18:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。