論文の概要: Structured Context Recomposition for Large Language Models Using Probabilistic Layer Realignment

• arxiv url: http://arxiv.org/abs/2501.17617v1
• Date: Wed, 29 Jan 2025 12:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:54:09.092994
• Title: Structured Context Recomposition for Large Language Models Using Probabilistic Layer Realignment
• Title（参考訳）: 確率的層配置を用いた大規模言語モデルの構造化文脈再構成
• Authors: Jonathan Teel, Jocasta Cumberbatch, Raphael Benington, Quentin Baskerville,
• Abstract要約: 本稿では,トランス層内の学習表現を動的に調整する確率的層配向戦略を提案する。 急激なトピックシフトと論理的不整合を軽減し、特にシークエンスが標準の注意窓の制約を超えるシナリオにおいて。 SCRは処理時間を適度に増加させるが、メモリオーバーヘッドは実現可能な限界内に留まり、自動回帰生成アプリケーションへの実用的なデプロイに適している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Extended sequence generation often leads to degradation in contextual consistency due to the inability of conventional self-attention mechanisms to effectively retain long-range dependencies. Existing approaches, including memory compression and retrieval-augmented conditioning, introduce computational trade-offs that either increase inference latency or impose additional storage overhead. Structured Context Recomposition (SCR) introduces a probabilistic layer realignment strategy that dynamically adjusts learned representations within transformer layers, ensuring that semantically relevant embeddings persist throughout extended transformations. The proposed method enhances coherence retention through a recursive weighting function that redistributes representational emphasis based on inferred contextual relevance rather than relying on fixed token-level attention scores. Empirical results indicate that probabilistic realignment mitigates abrupt topic shifts and logical inconsistencies, particularly in scenarios where sequences exceed standard attention window constraints. Sequence-level entropy analysis further reveals that SCR moderates representational variability without introducing excessive output regularization, allowing models to sustain generative diversity while preserving contextual alignment. Attention head deviation measurements confirm that hierarchical reweighting contributes to smoother token dependency transitions across transformer layers, reinforcing the stability of multi-turn interactions and document-level reasoning. Computational resource assessments show that while SCR incurs a moderate increase in processing time, memory overhead remains within feasible limits, making it suitable for practical deployment in autoregressive generative applications.
• Abstract（参考訳）: 拡張シーケンス生成は、しばしば、長距離依存を効果的に維持する従来の自己認識機構が欠如しているため、文脈整合性の低下につながる。 メモリ圧縮と検索拡張された条件付けを含む既存のアプローチでは、推論遅延を増加させるか、追加のストレージオーバーヘッドを課す計算トレードオフが導入されている。 構造化コンテキスト再構成(Structured Context Recomposition, SCR)は、トランスフォーマー層内の学習表現を動的に調整し、拡張トランスフォーメーションを通じて意味論的に関連する埋め込みが持続することを保証する確率層再配置戦略を導入する。 提案手法は, 固定されたトークンレベルの注意点に依存するのではなく, 推論された文脈的関連性に基づいて表現強調を再分割する再帰重み付け関数により, コヒーレンス保持を向上する。 実証的な結果から、確率的再配置は突然のトピックシフトと論理的不整合を緩和することが示された。 シーケンスレベルのエントロピー解析により、SCRは過剰な出力正規化を導入することなく表現の変動を緩和し、コンテキストアライメントを保ちながら生成的多様性を維持できることが明らかになった。 アテンションヘッド偏差測定により、階層的再重み付けがトランスフォーマー層間のトークン依存性遷移の円滑化に寄与し、マルチターン相互作用の安定性と文書レベルの推論が強化されることを確認した。 計算資源評価では、SCRは処理時間を適度に増加させるが、メモリオーバーヘッドは実現可能な限界内に留まり、自動回帰生成アプリケーションに実用的な配置に適している。

関連論文リスト

• RRWKV: Capturing Long-range Dependencies in RWKV [0.0]
  本稿では、RWKVにレトロスペクション機能を組み込むことで、効率的に情報を吸収することで、Retrospected Receptance Weighted Key Valueアーキテクチャを考案する。 RWKVは、線形にテンソル積の注意機構を利用して、時間列モードをデプロイすることで並列化された計算を実現している。
  論文  参考訳（メタデータ） (2023-06-08T13:17:06Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Conformalized Unconditional Quantile Regression [27.528258690139793]
  コンフォメーション予測と非条件量子回帰を組み合わせた予測推論手法を開発した。 提案手法は不整合性に適応し,テストインスタンスに関連する透過的なカバレッジ保証を提供し,既存の手法と効率的に競合することを示す。
  論文  参考訳（メタデータ） (2023-04-04T00:20:26Z)
• A robust method for reliability updating with equality information using sequential adaptive importance sampling [8.254850675268957]
  信頼性更新(Reliability update)とは、ベイジアン更新技術と構造的信頼性解析を統合した問題である。 本稿では,逐次重要サンプリングとK平均クラスタリングを組み合わせたRU-SAISという革新的な手法を提案する。 その結果, RU-SAISは既存手法よりも精度が高く, 堅牢な後方故障確率推定が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-08T12:55:40Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
  極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。 復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T02:29:30Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。