論文の概要: Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.03766v1
• Date: Thu, 06 Feb 2025 04:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:07.276680
• Title: Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける潜在表現の構造化のための階層的文脈的マニフォールドアライメント
• Authors: Meiquan Dong, Haoran Liu, Yan Huang, Zixuan Feng, Jianhong Tang, Ruoxi Wang,
• Abstract要約: 潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
• 参考スコア（独自算出の注目度）: 7.798982346197703
• License:
• Abstract: The organization of latent token representations plays a crucial role in determining the stability, generalization, and contextual consistency of language models, yet conventional approaches to embedding refinement often rely on parameter modifications that introduce additional computational overhead. A hierarchical alignment method was introduced to restructure token embeddings without altering core model weights, ensuring that representational distributions maintained coherence across different linguistic contexts. Experimental evaluations demonstrated improvements in rare token retrieval, adversarial robustness, and long-range dependency tracking, highlighting the advantages of hierarchical structuring in mitigating inconsistencies in latent space organization. The comparative analysis against conventional fine-tuning and embedding perturbation methods revealed that hierarchical restructuring maintained computational efficiency while achieving measurable gains in representation quality. Structural refinements introduced through the alignment process resulted in improved contextual stability across varied linguistic tasks, reducing inconsistencies in token proximity relationships and enhancing interpretability in language generation. A detailed computational assessment confirmed that the realignment process introduced minimal inference overhead, ensuring that representational improvements did not compromise model efficiency. The findings reinforced the broader significance of structured representation learning, illustrating that hierarchical embedding modifications could serve as an effective strategy for refining latent space distributions while preserving pre-learned semantic associations.
• Abstract（参考訳）: 潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を担っているが、従来の埋め込み改良のアプローチは、追加の計算オーバーヘッドをもたらすパラメータ修正に依存していることが多い。 コアモデル重みを変化させることなくトークン埋め込みを再構築し、表現分布が異なる言語文脈における一貫性を維持するために階層的アライメント法が導入された。 実験により, 希少なトークン検索, 対向ロバスト性, 長期依存性追跡の改善が示された。 従来の微調整法と組込み摂動法との比較解析により,階層的再構成は計算効率を維持しつつ,表現品質の計測可能な向上を実現していることがわかった。 アライメントプロセスを通じて導入された構造的洗練は、様々な言語課題における文脈的安定性を改善し、トークン近接関係の不整合を低減し、言語生成における解釈可能性を高める結果となった。 詳細な計算評価により、再配置プロセスは最小の推論オーバーヘッドを導入し、表現的改善がモデルの効率を損なわないことを保証した。 この知見は、階層的な埋め込み修飾が、事前学習された意味的関連を保ちながら、潜在空間分布を精製する効果的な戦略として役立つことを示しながら、構造化表現学習のより広範な重要性を補強した。

関連論文リスト

• Statistical Coherence Alignment for Large Language Model Representation Learning Through Tensor Field Convergence [0.0]
  表現学習は、言語の統計的特性を捉えるために、内部埋め込みを構築する上で中心的な役割を果たす。 コヒーレンスアライメントはテンソル場収束を通じて構造化トークン表現を強制する手法として導入された。 経験的評価は、コヒーレンス制約の適用によりパープレキシティが向上し、分類精度が向上し、稀な単語の埋め込みが洗練されることを示している。
  論文  参考訳（メタデータ） (2025-02-13T23:24:25Z)
• Structured Convergence in Large Language Model Representations via Hierarchical Latent Space Folding [0.0]
  高次元潜在空間におけるトークン表現は、しばしば冗長性を示し、計算効率を制限し、モデル層全体の構造的コヒーレンスを低減する。 本稿では,学習した埋め込みにおいて,マルチスケールの組織を強制する構造的変換機構を提案する。 経験的評価は、層間の表現分散の減少を示し、より安定したパープレキシティ分布に寄与し、テキスト生成における予測信頼性を高める。
  論文  参考訳（メタデータ） (2025-02-13T04:01:54Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations [0.0]
  ディープ・ニューラル・アーキテクチャの内部表現は言語構造の高次元抽象化を符号化する。 本稿では,制御された部分空間制約によりトークン埋め込みを選択的に再構成する構造的精細化手法を提案する。 実験により、構造的介入により異方性が減少し、表現のコンパクト性が改善された。
  論文  参考訳（メタデータ） (2025-02-12T00:00:37Z)
• Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation [0.0]
  構造的階層的埋め込みをトランスフォーマーベースのアーキテクチャに統合することで、語彙表現に対する洗練されたアプローチが導入された。 トークンを構造化多様体にマッピングする射影機構は、改善された語彙アライメントを提供する。 埋め込みの洗練された階層構造は、語彙モデリングにおいてより大きな解釈可能性をもたらす。
  論文  参考訳（メタデータ） (2025-02-08T00:49:32Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。