論文の概要: Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement

• arxiv url: http://arxiv.org/abs/2502.01882v2
• Date: Tue, 25 Mar 2025 13:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:50:24.131282
• Title: Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement
• Title（参考訳）: 大規模言語モデルにおける潜在語彙射影:帰納的表現再構成への新しいアプローチ
• Authors: Ziad Shaker, Brendan Ashdown, Hugo Fitzalan, Alistair Heathcote, Jocasta Huntington,
• Abstract要約: ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generating semantically coherent text requires a robust internal representation of linguistic structures, which traditional embedding techniques often fail to capture adequately. A novel approach, Latent Lexical Projection (LLP), is introduced to refine lexical representations through a structured transformation into a latent space, thereby enhancing the alignment between input embeddings and their contextual meanings. The method integrates an optimized projection mechanism within an existing language model architecture, enabling more accurate token selection while maintaining syntactic integrity. Evaluations across multiple benchmarks indicate a reduction in perplexity and an increase in BLEU scores, suggesting improvements in predictive accuracy and fluency. The analysis of lexical diversity reveals a more varied vocabulary in generated text, addressing common issues of redundancy and repetitive phrase structures. Further assessments of entropy distributions demonstrate a decline in uncertainty during decoding, reflecting enhanced confidence in word selection. Additionally, long-range dependency retention exhibits measurable gains, with increased classification accuracy at extended token distances. Computational efficiency remains within manageable constraints, despite the added projection mechanism, highlighting the practicality of LLP for integration into existing architectures.
• Abstract（参考訳）: 意味的コヒーレントなテキストを生成するには言語構造の堅牢な内部表現が必要である。 新たなアプローチであるLLP(Latent Lexical Projection)を導入し、構造化された空間から潜在空間への変換を通じて語彙表現を洗練し、入力埋め込みとその文脈的意味との整合性を高める。 この方法は既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合し、構文整合性を維持しながらより正確なトークン選択を可能にする。 複数のベンチマークによる評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流速の改善を示唆している。 語彙の多様性の分析により、より多様な語彙が生成され、冗長性と反復的な句構造に関する一般的な問題に対処する。 エントロピー分布のさらなる評価は、単語選択の信頼性の向上を反映して、デコード中の不確実性の低下を示す。 さらに、長距離依存保持は測定可能な利得を示し、トークン距離を延ばすと分類精度が向上する。 計算効率は、プロジェクション機構の追加にもかかわらず管理可能な制約の範囲内に留まり、既存のアーキテクチャに統合するためのLPPの実用性を強調している。

関連論文リスト

• Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation [0.0]
  提案手法は,単語表現が位相的整合性に従属する確率関数空間を構築する。 確率制約は、文脈関係を洗練することによって語彙コヒーレンスを高め、複数の言語分布における意味的安定性を改善する。 計算効率の評価では、表現は小さな処理オーバーヘッドをもたらすが、構造化された表現学習アプローチは実用的展開にはスケーラブルである。
  論文  参考訳（メタデータ） (2025-02-14T08:47:10Z)
• Statistical Coherence Alignment for Large Language Model Representation Learning Through Tensor Field Convergence [0.0]
  表現学習は、言語の統計的特性を捉えるために、内部埋め込みを構築する上で中心的な役割を果たす。 コヒーレンスアライメントはテンソル場収束を通じて構造化トークン表現を強制する手法として導入された。 経験的評価は、コヒーレンス制約の適用によりパープレキシティが向上し、分類精度が向上し、稀な単語の埋め込みが洗練されることを示している。
  論文  参考訳（メタデータ） (2025-02-13T23:24:25Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation [0.0]
  構造的階層的埋め込みをトランスフォーマーベースのアーキテクチャに統合することで、語彙表現に対する洗練されたアプローチが導入された。 トークンを構造化多様体にマッピングする射影機構は、改善された語彙アライメントを提供する。 埋め込みの洗練された階層構造は、語彙モデリングにおいてより大きな解釈可能性をもたらす。
  論文  参考訳（メタデータ） (2025-02-08T00:49:32Z)
• Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
  潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
  論文  参考訳（メタデータ） (2025-02-06T04:01:27Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• Morphologically Aware Word-Level Translation [82.59379608647147]
  本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。 我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
  論文  参考訳（メタデータ） (2020-11-15T17:54:49Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。