論文の概要: Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT

• arxiv url: http://arxiv.org/abs/2412.14670v1
• Date: Thu, 19 Dec 2024 09:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:19.435964
• Title: Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT
• Title（参考訳）: 大規模言語モデルにおける言語構造の解析と可視化:BERTにおける動詞粒子構成のニューラル表現
• Authors: Hassane Kissane, Achim Schilling, Patrick Krauss,
• Abstract要約: 本研究では,大言語モデル(LLM)における動詞-助詞の組み合わせの内部表現について検討する。 我々は'agree on'、'come back'、'give up'といった様々な動詞粒子構築のための各層の表現効果を分析する。 その結果,BERTの中間層は,各動詞カテゴリの表現精度に有意なばらつきがあり,構文構造を効果的に捉えていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study investigates the internal representations of verb-particle combinations within transformer-based large language models (LLMs), specifically examining how these models capture lexical and syntactic nuances at different neural network layers. Employing the BERT architecture, we analyse the representational efficacy of its layers for various verb-particle constructions such as 'agree on', 'come back', and 'give up'. Our methodology includes a detailed dataset preparation from the British National Corpus, followed by extensive model training and output analysis through techniques like multi-dimensional scaling (MDS) and generalized discrimination value (GDV) calculations. Results show that BERT's middle layers most effectively capture syntactic structures, with significant variability in representational accuracy across different verb categories. These findings challenge the conventional uniformity assumed in neural network processing of linguistic elements and suggest a complex interplay between network architecture and linguistic representation. Our research contributes to a better understanding of how deep learning models comprehend and process language, offering insights into the potential and limitations of current neural approaches to linguistic analysis. This study not only advances our knowledge in computational linguistics but also prompts further research into optimizing neural architectures for enhanced linguistic precision.
• Abstract（参考訳）: 本研究では,変圧器を用いた大規模言語モデル (LLM) における動詞-粒子の組み合わせの内部表現について検討し,これらのモデルが異なるニューラルネットワーク層における語彙的・構文的ニュアンスを捉える方法について検討した。 BERTアーキテクチャを用いることで,各階層の表現効率を'agree on','come back','give up'などの動詞粒子構造に対して解析する。 提案手法は,多次元スケーリング (MDS) や一般化識別値 (GDV) 計算などの手法を用いて, 広範囲にわたるモデルトレーニングと出力分析を行う。 その結果,BERTの中間層は,各動詞カテゴリの表現精度に有意なばらつきがあり,構文構造を効果的に捉えていることがわかった。 これらの知見は、言語要素のニューラルネットワーク処理において仮定される従来の一様性に挑戦し、ネットワークアーキテクチャと言語表現との複雑な相互作用を示唆している。 我々の研究は、ディープラーニングモデルがどのように言語を理解し、処理するかをより深く理解し、言語分析に対する現在のニューラルネットワークの可能性と限界についての洞察を提供する。 この研究は、計算言語学の知識を進歩させるだけでなく、言語学的精度を高めるために、ニューラルネットワークの最適化に関するさらなる研究を促進する。

関連論文リスト

• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• Hidden Holes: topological aspects of language models [1.1172147007388977]
  我々は,GPTに基づく大規模言語モデルにおけるトポロジ的構造の発達について,訓練中の深度と時間にわたって検討した。 後者は、すべての自然言語に共通する変化パターンを持つが、合成されたデータがない、よりトポロジ的な複雑さを示すことを示す。
  論文  参考訳（メタデータ） (2024-06-09T14:25:09Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Initial Study into Application of Feature Density and Linguistically-backed Embedding to Improve Machine Learning-based Cyberbullying Detection [54.83707803301847]
  この研究は、自動サイバーバブル検出に関するKaggleコンペティションで提供されたFormspringデータセットで実施された。 本研究は,サイバブリング検出におけるニューラルネットワークの有効性と分類器性能と特徴密度の相関性を確認した。
  論文  参考訳（メタデータ） (2022-06-04T03:17:15Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。