論文の概要: Contextually Structured Token Dependency Encoding for Large Language Models

• arxiv url: http://arxiv.org/abs/2501.18205v1
• Date: Thu, 30 Jan 2025 08:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:15:13.416093
• Title: Contextually Structured Token Dependency Encoding for Large Language Models
• Title（参考訳）: 大規模言語モデルに対する文脈的構造化トークン依存符号化
• Authors: James Blades, Frederick Somerfield, William Langley, Susan Everingham, Maurice Witherington,
• Abstract要約: 自己注意機構は動的文脈依存を捉えるが、学習した重み分布への依存は、生成配列における長距離階層構造の保存を制限する。 依存性を意識したトークンエンコーディングでは,トークン表現内にリレーショナル制約を埋め込むという,構造化されたアプローチが導入されている。 経験的評価は、多種多様な言語ベンチマークにおけるパープレキシティの低下を示し、自己回帰テキスト生成における文脈的一貫性と予測一貫性の改善を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Token representation strategies within large-scale neural architectures often rely on contextually refined embeddings, yet conventional approaches seldom encode structured relationships explicitly within token interactions. Self-attention mechanisms effectively capture dynamic contextual dependencies, but their reliance on learned weight distributions limits the preservation of long-range hierarchical structures in generated sequences. Dependency-aware token encoding introduces a structured approach to embedding initialization, ensuring that relational constraints are embedded within token representations rather than inferred solely through attention dynamics. The proposed encoding mechanism refines token interactions through dependency-weighted attention computations, ensuring that syntactic and semantic dependencies are retained across multiple processing layers. Empirical evaluations indicate reductions in perplexity across diverse linguistic benchmarks, suggesting improvements in contextual coherence and predictive consistency in autoregressive text generation. Computational efficiency assessments reveal a moderate increase in memory consumption and training time, attributed to additional matrix computations within the encoding module, yet scalability remains feasible within conventional transformer architectures. Structured encoding enhances lexical variation and dependency retention, reinforcing linguistic coherence without requiring external syntactic annotations or auxiliary training objectives. Statistical comparisons highlight improvements in dependency alignment, particularly in longer sequences where conventional self-attention models exhibit degradation in hierarchical consistency. Sentence length distributions indicate a reduction in abrupt phrase transitions, further supporting the hypothesis that explicit dependency encoding facilitates more structured phrase generation.
• Abstract（参考訳）: 大規模ニューラルアーキテクチャにおけるトーケン表現戦略は、しばしば文脈的に洗練された埋め込みに依存しているが、従来のアプローチでは、トークンの相互作用内で構造化された関係を明示的にエンコードすることはめったにない。 自己注意機構は動的文脈依存を効果的に捉えるが、学習重量分布への依存は、生成配列における長距離階層構造の保存を制限する。 依存性を意識したトークンエンコーディングは、初期化を埋め込むための構造化されたアプローチを導入します。 提案する符号化機構は,複数の処理層にまたがる統語的および意味的依存関係の維持を保証するため,依存性重み付けされた注意計算によりトークン間相互作用を洗練する。 経験的評価は、多種多様な言語ベンチマークにおけるパープレキシティの低下を示し、自己回帰テキスト生成における文脈的一貫性と予測一貫性の改善を示唆している。 計算効率評価は、エンコーディングモジュール内の追加の行列計算によるメモリ消費とトレーニング時間の適度な増加を示すが、従来のトランスフォーマーアーキテクチャではスケーラビリティが実現可能である。 構造的エンコーディングは語彙の変動と依存性の保持を強化し、外部の構文アノテーションや補助的な訓練目的を必要としない言語的コヒーレンスを強化する。 統計的比較は、特に従来の自己注意モデルが階層的な一貫性の低下を示す長いシーケンスにおいて、依存関係のアライメントの改善を強調している。 文長分布は、急激なフレーズ遷移の減少を示し、明示的な依存関係の符号化がより構造化されたフレーズの生成を促進するという仮説を支持している。

関連論文リスト

• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Punctuation Restoration Improves Structure Understanding without Supervision [6.4736137270915215]
  学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。 句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
  論文  参考訳（メタデータ） (2024-02-13T11:22:52Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing [0.0]
  本研究では,言語モデル,特に注意分布が構文依存をカプセル化できるという前提について検討する。 本稿ではこれらの構造を誘導するための革新的なアプローチである動的構文マッピング(DSM)を紹介する。 本研究により, 自然言語データの解析精度が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-18T10:34:29Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• IDRNet: Intervention-Driven Relation Network for Semantic Segmentation [34.09179171102469]
  同時進行の視覚パターンは、画素関係モデリングが密接な予測タスクを促進することを示唆している。 印象的な結果にもかかわらず、既存のパラダイムは、しばしば不適切または効果的な文脈情報集約に悩まされる。 我々は,textbfIntervention-textbfDriven textbfRelation textbfNetworkを提案する。
  論文  参考訳（メタデータ） (2023-10-16T18:37:33Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。