論文の概要: Context-Preserving Tensorial Reconfiguration in Large Language Model Training

• arxiv url: http://arxiv.org/abs/2502.00246v1
• Date: Sat, 01 Feb 2025 00:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:37.531891
• Title: Context-Preserving Tensorial Reconfiguration in Large Language Model Training
• Title（参考訳）: 大規模言語モデル学習における文脈保存的テンソル再構成
• Authors: Larin Tonix, Morgana Baskerville, Nathaniel Stourton, Ophelia Tattershall,
• Abstract要約: CPTR(Context-Preservingial Reconfiguration)は、構造的因子化と適応的収縮による重みテンソルの動的複雑さを実現する。 実証的な評価は、CPTRが拡張配列間のコヒーレンス保持を改善することを示している。 性能比較の結果,CPTR強化モデルでは計算効率が向上し,メモリ消費が減少した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Handling long-range dependencies in neural architectures has remained a persistent challenge due to computational limitations and inefficient contextual retention mechanisms. Tensorial operations have provided a foundation for restructuring model representations, yet conventional architectures have struggled to incorporate such techniques without introducing excessive complexity. A novel approach, Context-Preserving Tensorial Reconfiguration (CPTR), enables dynamic reorganization of weight tensors through structured factorization and adaptive contraction, allowing for enhanced contextual integration without substantial computational overhead. Empirical evaluations demonstrate that CPTR improves coherence retention across extended sequences, leading to measurable reductions in perplexity and improved recall accuracy for long-context tasks. Performance comparisons reveal that CPTR-enhanced models exhibit greater computational efficiency and reduced memory consumption while maintaining competitive language generation fluency and accuracy. Gradient stability metrics further validate the improved training efficiency, revealing more controlled variance in weight updates. Comparative studies across baseline and CPTR-enhanced models confirm that tensorial reconfiguration contributes to more stable and computationally efficient language modeling. The findings support the potential of CPTR in refining contemporary neural architectures for tasks requiring long-range contextual understanding and efficient memory utilization.
• Abstract（参考訳）: ニューラルアーキテクチャにおける長距離依存関係の処理は、計算上の制限と非効率なコンテキスト保持機構のために、依然として永続的な課題である。 テンソル演算はモデル表現を再構築する基盤となっているが、従来のアーキテクチャでは過剰な複雑さを伴わずにそのような手法を組み込むのに苦労している。 CPTR(Context-Preserving Tensorial Reconfiguration)と呼ばれる新しい手法により、構造化因子化と適応収縮による重みテンソルの動的再構成が可能となり、かなりの計算オーバーヘッドを伴わずにコンテキスト統合を拡張できる。 実験的な評価により、CPTRは、拡張シーケンス間のコヒーレンス保持を改善し、パープレキシティの計測可能な低減と、長いコンテキストタスクのリコール精度を向上させることが示されている。 性能比較の結果、CPTR強化モデルは、競合する言語生成の流速と精度を維持しつつ、計算効率が向上し、メモリ消費が減少することがわかった。 グラディエント安定性メトリクスは、トレーニング効率の改善をさらに検証し、重み更新のより制御されたばらつきを明らかにします。 ベースラインモデルとCPTRモデルの比較研究により、テンソル再構成がより安定かつ計算効率の良い言語モデリングに寄与することが確認された。 この知見は、長期の文脈理解と効率的なメモリ利用を必要とするタスクに対する、現代のニューラルネットワークアーキテクチャの精製におけるCPTRの可能性を支持する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Canonical Correlation Guided Deep Neural Network [14.188285111418516]
  深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。 提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。 相関による冗長性を低減するために、冗長性フィルタを設計する。
  論文  参考訳（メタデータ） (2024-09-28T16:08:44Z)
• Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer [29.970200877158764]
  ニューラルモデルにおけるリカレント構造が推論能力と計算可能性に与える影響について検討する。 我々は、CoTアプローチが繰り返し計算を模倣し、自己回帰と再発の間のブリッジとして機能する方法について光を当てた。
  論文  参考訳（メタデータ） (2024-09-14T00:30:57Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Structured Tuning for Semantic Role Labeling [38.66432166217337]
  最近のニューラルネットワークによるセマンティックロールラベリングシステムでは、F1スコアが著しく改善されている。 本稿では,訓練時にのみ軟化制約を用いたモデル改善のための構造化チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-01T17:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。