論文の概要: Exploring Narrative Clustering in Large Language Models: A Layerwise Analysis of BERT

• arxiv url: http://arxiv.org/abs/2501.08053v1
• Date: Tue, 14 Jan 2025 12:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:13.746944
• Title: Exploring Narrative Clustering in Large Language Models: A Layerwise Analysis of BERT
• Title（参考訳）: 大規模言語モデルにおけるナラティブクラスタリングの探索:BERTの階層的解析
• Authors: Awritrojit Banerjee, Achim Schilling, Patrick Krauss,
• Abstract要約: 本研究では,変圧器を用いた大規模言語モデルであるBERTの内部メカニズムについて検討する。 GPT-4を介して開発された物語のデータセットを用いて、BERTの階層的活性化を分析し、局所的なニューラル処理のパターンを明らかにする。 BERTは,後期層における物語コンテンツに基づく強力なクラスタリングを,段階的にコンパクトかつ異なるクラスタで実現していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study investigates the internal mechanisms of BERT, a transformer-based large language model, with a focus on its ability to cluster narrative content and authorial style across its layers. Using a dataset of narratives developed via GPT-4, featuring diverse semantic content and stylistic variations, we analyze BERT's layerwise activations to uncover patterns of localized neural processing. Through dimensionality reduction techniques such as Principal Component Analysis (PCA) and Multidimensional Scaling (MDS), we reveal that BERT exhibits strong clustering based on narrative content in its later layers, with progressively compact and distinct clusters. While strong stylistic clustering might occur when narratives are rephrased into different text types (e.g., fables, sci-fi, kids' stories), minimal clustering is observed for authorial style specific to individual writers. These findings highlight BERT's prioritization of semantic content over stylistic features, offering insights into its representational capabilities and processing hierarchy. This study contributes to understanding how transformer models like BERT encode linguistic information, paving the way for future interdisciplinary research in artificial intelligence and cognitive neuroscience.
• Abstract（参考訳）: 本研究では,変圧器をベースとした大規模言語モデルであるBERTの内部メカニズムを考察し,物語の内容と著者スタイルを階層的にクラスタリングする能力に着目した。 GPT-4によって開発された物語のデータセットを用いて,多様なセマンティックコンテンツとスタイリスティックなバリエーションを特徴とし,BERTの階層的アクティベーションを分析し,局所的なニューラル処理のパターンを明らかにする。 主成分分析 (PCA) や多次元スケーリング (MDS) などの次元的縮小技術により, BERT は後期層における物語的内容に基づく強いクラスタリングを示し, 段階的にコンパクトで, 異なるクラスタを持つことを示した。 強いスタイリスティックなクラスタリングは、物語が異なるテキストタイプ(例えば、ファブル、SF、子供のストーリー)に書き直されるときに起こりうるが、最小限のクラスタリングは、個々の著者に特有の著作スタイルに対して観察される。 これらの知見は、BERTがスタイリスティックな特徴よりもセマンティックなコンテンツを優先していることを強調し、表現能力と処理階層に関する洞察を提供する。 この研究は、BERTのようなトランスフォーマーモデルが言語情報をエンコードする方法を理解し、人工知能と認知神経科学における将来の学際研究の道を開くことに寄与する。

関連論文リスト

• Author-Specific Linguistic Patterns Unveiled: A Deep Learning Study on Word Class Distributions [0.0]
  本研究では,POSタグ付けとBigram解析を用いた著者固有の単語クラス分布について検討した。 深層ニューラルネットワークを利用して、POSタグベクトルと、それらの作品から派生したビッグラム周波数行列に基づいて、文学作家を分類する。
  論文  参考訳（メタデータ） (2025-01-17T09:43:49Z)
• Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT [0.0]
  本研究では,大言語モデル(LLM)における動詞-助詞の組み合わせの内部表現について検討する。 我々は'agree on'、'come back'、'give up'といった様々な動詞粒子構築のための各層の表現効果を分析する。 その結果,BERTの中間層は,各動詞カテゴリの表現精度に有意なばらつきがあり,構文構造を効果的に捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-12-19T09:21:39Z)
• Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling [0.0]
  本稿では,SciBERTモデルとCNNを用いて,学術論文を体系的に分類する手法を提案する。 CNNは、畳み込みとプーリングを使用して特徴抽出を強化し、次元を減少させる。
  論文  参考訳（メタデータ） (2024-04-16T05:21:47Z)
• Text Clustering with Large Language Model Embeddings [0.0]
  テキストクラスタリングの有効性は、テキスト埋め込みとクラスタリングアルゴリズムの選択に大きく依存する。 大規模言語モデル(LLM)の最近の進歩は、このタスクを強化する可能性を秘めている。 LLM埋め込みは構造化言語の微妙さを捉えるのに優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T11:08:48Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification [12.750941606061877]
  テキスト中のメタファを識別し,シーケンスタグ付けタスクとして扱う問題に取り組む。 事前学習した単語埋め込みであるGloVe, ELMo, BERTは, 逐次メタファー識別に優れた性能を示した。 GloVe, ELMo, 特徴量に基づくBERTの活用は, 一つの単語の埋め込み法と2つの埋め込みの組み合わせで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-04-07T17:43:05Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。