論文の概要: Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration
- arxiv url: http://arxiv.org/abs/2502.05794v1
- Date: Sun, 09 Feb 2025 07:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:32:57.180843
- Title: Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration
- Title（参考訳）: 再帰的記号再生による大規模言語モデル表現の構造摂動
- Authors: Kathlyn Eaglewood, Tobias Featherington, Dorian Mayfair, Sylvester Grimshaw, James Pettigrew,
- Abstract要約: シンボリック摂動は、モデルパラメータを直接修正することなく、神経表現に影響を与える新しいアプローチを提供する。
シンボル構造の再生は、潜伏埋め込みにおける構造変化を導入し、注意力学における制御的なシフトをもたらす。
注目重量分布の変化は、トークン依存の調整、応答の可変性への影響、長文生成の精細化における象徴的な修正の役割を強調している。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Symbolic perturbations offer a novel approach for influencing neural representations without requiring direct modification of model parameters. The recursive regeneration of symbolic structures introduces structured variations in latent embeddings, leading to controlled shifts in attention dynamics and lexical diversity across sequential generations. A comparative analysis with conventional fine-tuning techniques reveals that structural modifications at the symbolic level induce distinct variations in contextual sensitivity while maintaining overall model fluency and coherence. Shifts in attention weight distributions highlight the role of symbolic modifications in adjusting token dependencies, influencing response variability, and refining long-form text generation. Experimental findings suggest that symbolic perturbations can enhance adaptability in domain-specific applications, allowing modifications in model behavior without retraining. Evaluations of semantic drift indicate that recursive regeneration alters long-range token dependencies, affecting topic coherence across extended text sequences. Results from lexical variability assessments further support the conclusion that symbolic-level modifications introduce interpretable variations in generated responses, potentially enabling more controlled stylistic adjustments in automated text generation.
- Abstract（参考訳）: シンボリック摂動は、モデルパラメータを直接修正することなく、神経表現に影響を与える新しいアプローチを提供する。
シンボル構造の再帰的再生は、潜伏埋め込みの構造変化をもたらし、連続世代間での注意力学と語彙の多様性の制御をもたらす。
従来の微調整技術との比較分析により、シンボルレベルの構造変化は、全体的なモデル流速とコヒーレンスを維持しながら、文脈感度の異なるバリエーションを誘導することが明らかとなった。
注目重量分布の変化は、トークン依存の調整、応答の可変性への影響、長文生成の精細化における象徴的な修正の役割を強調している。
実験結果から,記号的摂動はドメイン固有の応用において適応性を向上し,再学習を伴わないモデル行動の修正を可能にすることが示唆された。
セマンティックドリフトの評価は、再帰的再生成が長距離トークン依存を変化させ、拡張されたテキストシーケンス間のトピックコヒーレンスに影響を与えることを示している。
語彙変数評価の結果は、シンボリックレベルの修正が生成した応答の解釈可能なバリエーションを導入し、自動テキスト生成においてより制御されたスタイル調整を可能にするという結論をさらに裏付ける。
関連論文リスト
- Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks [0.0]
自己変調機構は言語モデル内で動的適応機能を導入する。
コンテキスト適応戦略は、拡張シーケンスにわたるトークン埋め込み軌跡に影響を与える。
自己規制は、生成の柔軟性を維持しながら、テキスト生成の一貫性を高める。
適応的な埋め込み更新はコヒーレンスの特定の側面を改善するが、その影響はモデルのキャパシティと入力の複雑さに及ばない。
論文 参考訳（メタデータ） (2025-02-16T01:08:19Z) - Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。
多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。
経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
論文 参考訳（メタデータ） (2025-02-12T22:11:07Z) - Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
隠れ状態遷移を制御する構造変調機構が導入された。
格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
論文 参考訳（メタデータ） (2025-02-10T09:46:33Z) - Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。
コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。
実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
論文 参考訳（メタデータ） (2025-02-06T04:01:27Z) - Structured Context Recomposition for Large Language Models Using Probabilistic Layer Realignment [0.0]
本稿では,トランス層内の学習表現を動的に調整する確率的層配向戦略を提案する。
急激なトピックシフトと論理的不整合を軽減し、特にシークエンスが標準の注意窓の制約を超えるシナリオにおいて。
SCRは処理時間を適度に増加させるが、メモリオーバーヘッドは実現可能な限界内に留まり、自動回帰生成アプリケーションへの実用的なデプロイに適している。
論文 参考訳（メタデータ） (2025-01-29T12:46:42Z) - Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。
実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。
分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文 参考訳（メタデータ） (2024-07-05T14:29:44Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in
Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。
本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
論文 参考訳（メタデータ） (2022-10-22T10:25:35Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。
エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。
実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2019-12-29T15:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。