論文の概要: 'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family

• arxiv url: http://arxiv.org/abs/2604.03673v1
• Date: Sat, 04 Apr 2026 10:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.714683
• Title: 'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family
• Title（参考訳）: 「レイヤー・スー・レイヤー」:BERT家におけるイタリアのNPN構築の特定と曖昧化
• Authors: Greta Gorzoni, Ludovica Pannitto, Francesca Masini,
• Abstract要約: 本研究は, イタリアのNPN (noun-preposition-noun) 構築ファミリーに焦点を当てた。 これは、以前の実験設計の基礎となる理論的および方法論的な仮定のいくつかに挑戦する。 その結果,建築形態や意味が文脈埋め込みに反映される程度に光を当てた。
• 参考スコア（独自算出の注目度）: 0.038233569758620044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability research has highlighted the importance of evaluating Pretrained Language Models (PLMs) and in particular contextual embeddings against explicit linguistic theories to determine what linguistic information they encode. This study focuses on the Italian NPN (noun-preposition-noun) constructional family, challenging some of the theoretical and methodological assumptions underlying previous experimental designs and extending this type of research to a lesser-investigated language. Contextual vector representations are extracted from BERT and used as input to layer-wise probing classifiers, systematically evaluating information encoded across the model's internal layers. The results shed light on the extent to which constructional form and meaning are reflected in contextual embeddings, contributing empirical evidence to the dialogue between constructionist theory and neural language modelling
• Abstract（参考訳）: 解釈可能性の研究は、事前訓練された言語モデル(PLM)を評価することの重要性を強調し、特に、どの言語情報をコード化しているかを決定するために、明示的な言語理論に対する文脈的な埋め込みを強調している。 本研究は, イタリアのNPN (noun-preposition-noun) 構築系に焦点をあて, 従来の実験設計の基礎となる理論的, 方法論的仮定のいくつかに挑戦し, このタイプの研究を, より包括的でない言語に拡張する。 コンテキストベクトル表現はBERTから抽出され、レイヤワイドな探索分類器への入力として使用され、モデルの内部層にエンコードされた情報を体系的に評価する。 その結果、構成形式と意味が文脈埋め込みに反映される程度に光を当て、構成主義者理論とニューラルネットワークモデリングの対話に実証的な証拠をもたらした。

関連論文リスト

• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT [0.0]
  本研究では,大言語モデル(LLM)における動詞-助詞の組み合わせの内部表現について検討する。 我々は'agree on'、'come back'、'give up'といった様々な動詞粒子構築のための各層の表現効果を分析する。 その結果,BERTの中間層は,各動詞カテゴリの表現精度に有意なばらつきがあり,構文構造を効果的に捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-12-19T09:21:39Z)
• From Word Vectors to Multimodal Embeddings: Techniques, Applications, and Future Directions For Large Language Models [17.04716417556556]
  本稿では,分布仮説や文脈的類似性といった基礎概念を概観する。 本稿では, ELMo, BERT, GPTなどのモデルにおいて, 静的な埋め込みと文脈的埋め込みの両方について検討する。 議論は文章や文書の埋め込みにまで拡張され、集約メソッドや生成トピックモデルをカバーする。 モデル圧縮、解釈可能性、数値エンコーディング、バイアス緩和といった高度なトピックを分析し、技術的な課題と倫理的意味の両方に対処する。
  論文  参考訳（メタデータ） (2024-11-06T15:40:02Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• What does BERT learn about prosody? [1.1548853370822343]
  モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。 以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2023-04-25T10:34:56Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• How transfer learning impacts linguistic knowledge in deep NLP models? [22.035813865470956]
  ディープNLPモデルは、モデルの異なる層でキャプチャされた、非自明な量の言語知識を学習する。 下流のNLPタスクに対する微調整が学習言語知識に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-05-31T17:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。