論文の概要: Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration

• arxiv url: http://arxiv.org/abs/2502.05794v1
• Date: Sun, 09 Feb 2025 07:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:57.180843
• Title: Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration
• Title（参考訳）: 再帰的記号再生による大規模言語モデル表現の構造摂動
• Authors: Kathlyn Eaglewood, Tobias Featherington, Dorian Mayfair, Sylvester Grimshaw, James Pettigrew,
• Abstract要約: シンボリック摂動は、モデルパラメータを直接修正することなく、神経表現に影響を与える新しいアプローチを提供する。 シンボル構造の再生は、潜伏埋め込みにおける構造変化を導入し、注意力学における制御的なシフトをもたらす。 注目重量分布の変化は、トークン依存の調整、応答の可変性への影響、長文生成の精細化における象徴的な修正の役割を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Symbolic perturbations offer a novel approach for influencing neural representations without requiring direct modification of model parameters. The recursive regeneration of symbolic structures introduces structured variations in latent embeddings, leading to controlled shifts in attention dynamics and lexical diversity across sequential generations. A comparative analysis with conventional fine-tuning techniques reveals that structural modifications at the symbolic level induce distinct variations in contextual sensitivity while maintaining overall model fluency and coherence. Shifts in attention weight distributions highlight the role of symbolic modifications in adjusting token dependencies, influencing response variability, and refining long-form text generation. Experimental findings suggest that symbolic perturbations can enhance adaptability in domain-specific applications, allowing modifications in model behavior without retraining. Evaluations of semantic drift indicate that recursive regeneration alters long-range token dependencies, affecting topic coherence across extended text sequences. Results from lexical variability assessments further support the conclusion that symbolic-level modifications introduce interpretable variations in generated responses, potentially enabling more controlled stylistic adjustments in automated text generation.
• Abstract（参考訳）: シンボリック摂動は、モデルパラメータを直接修正することなく、神経表現に影響を与える新しいアプローチを提供する。 シンボル構造の再帰的再生は、潜伏埋め込みの構造変化をもたらし、連続世代間での注意力学と語彙の多様性の制御をもたらす。 従来の微調整技術との比較分析により、シンボルレベルの構造変化は、全体的なモデル流速とコヒーレンスを維持しながら、文脈感度の異なるバリエーションを誘導することが明らかとなった。 注目重量分布の変化は、トークン依存の調整、応答の可変性への影響、長文生成の精細化における象徴的な修正の役割を強調している。 実験結果から,記号的摂動はドメイン固有の応用において適応性を向上し,再学習を伴わないモデル行動の修正を可能にすることが示唆された。 セマンティックドリフトの評価は、再帰的再生成が長距離トークン依存を変化させ、拡張されたテキストシーケンス間のトピックコヒーレンスに影響を与えることを示している。 語彙変数評価の結果は、シンボリックレベルの修正が生成した応答の解釈可能なバリエーションを導入し、自動テキスト生成においてより制御されたスタイル調整を可能にするという結論をさらに裏付ける。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Amortised Inference in Structured Generative Models with Explaining Away [16.92791301062903]
  我々は、複数の変数に対して構造化因子を組み込むために、償却変分推論の出力を拡張した。 パラメータ化された因子は、複雑な図形構造における変分メッセージパッシングと効率的に結合可能であることを示す。 次に、構造化されたモデルと、自由に動くげっ歯類の海馬からの高次元神経スパイク時系列を適合させる。
  論文  参考訳（メタデータ） (2022-09-12T12:52:15Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis [42.29094097639594]
  本稿では,Tacotron 2テキスト音声モデルに基づく韻律の階層的,きめ細かな,解釈可能な潜在変数モデルを提案する。 粗いレベル表現に対してより微細なレベル表現を条件付けることで、プロソディのマルチレゾリューションモデリングを実現する。
  論文  参考訳（メタデータ） (2020-02-06T12:52:03Z)
• FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
  本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。 エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。 実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2019-12-29T15:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。