論文の概要: On the Robustness of Transformers against Context Hijacking for Linear Classification

• arxiv url: http://arxiv.org/abs/2502.15609v1
• Date: Fri, 21 Feb 2025 17:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:54.752324
• Title: On the Robustness of Transformers against Context Hijacking for Linear Classification
• Title（参考訳）: 線形分類における文脈ハイジャックに対する変圧器のロバスト性について
• Authors: Tianle Li, Chenyang Zhang, Xingwu Chen, Yuan Cao, Difan Zou,
• Abstract要約: Transformer-based Large Language Models (LLM) は、強力なコンテキスト内学習能力を実証している。 それらは、コンテキストハイジャックとして知られる、事実的に正しいコンテキストによって破壊される。 十分に訓練された深部変圧器は、経験的観測と整合した高い強靭性を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 26.1838836907147
• License:
• Abstract: Transformer-based Large Language Models (LLMs) have demonstrated powerful in-context learning capabilities. However, their predictions can be disrupted by factually correct context, a phenomenon known as context hijacking, revealing a significant robustness issue. To understand this phenomenon theoretically, we explore an in-context linear classification problem based on recent advances in linear transformers. In our setup, context tokens are designed as factually correct query-answer pairs, where the queries are similar to the final query but have opposite labels. Then, we develop a general theoretical analysis on the robustness of the linear transformers, which is formulated as a function of the model depth, training context lengths, and number of hijacking context tokens. A key finding is that a well-trained deeper transformer can achieve higher robustness, which aligns with empirical observations. We show that this improvement arises because deeper layers enable more fine-grained optimization steps, effectively mitigating interference from context hijacking. This is also well supported by our numerical experiments. Our findings provide theoretical insights into the benefits of deeper architectures and contribute to enhancing the understanding of transformer architectures.
• Abstract（参考訳）: Transformer-based Large Language Models (LLM) は、強力なコンテキスト内学習能力を実証している。 しかし、それらの予測は、コンテキストハイジャックとして知られる現象である事実的に正しいコンテキストによって破壊され、重大な堅牢性の問題が露呈する。 この現象を理論的に理解するために,線形変圧器の最近の進歩に基づく文脈内線形分類問題を考察する。 我々の設定では、コンテキストトークンは実際に正しいクエリ-問合せペアとして設計され、クエリは最終クエリと似ているが、反対のラベルを持つ。 そこで, モデル深度, トレーニングコンテキスト長, ハイジャックコンテキストトークン数の関数として定式化された線形変圧器のロバスト性に関する一般的な理論的解析法を開発した。 鍵となる発見は、十分に訓練された深層変圧器が、経験的な観測と一致した高い堅牢性を達成することができることである。 この改善は、より深い層がよりきめ細かな最適化ステップを可能にし、コンテキストハイジャックによる干渉を効果的に軽減できるためであることを示す。 これは我々の数値実験でもよく支持されている。 本研究は, より深いアーキテクチャの利点に関する理論的知見を提供し, トランスフォーマーアーキテクチャの理解の向上に寄与する。

関連論文リスト

• Dynamics of Transient Structure in In-Context Linear Regression Transformers [0.5242869847419834]
  中間タスクの多様性を持つコンテキスト内線形回帰タスクでトランスフォーマーを訓練する場合、トレーニング分布のタスクに特化する前にリッジ回帰のように振る舞うことを示す。 一般解から特殊解へのこの遷移は、結合軌道主成分分析によって明らかにされる。 局所学習係数によって定義される変圧器のモデル複雑性を測定することにより、この説明を実証的に検証する。
  論文  参考訳（メタデータ） (2025-01-29T16:32:14Z)
• Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
  本稿では,変圧器のパラメータ化知識を用いた一階論理推論能力について検討する。 変圧器の1次推論能力は、その1次論理的推論を実行する能力を通じて評価される。 変換器における一階述語論理包含を一般化する能力を高めるため,より洗練された論理型アーキテクチャTEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-01T07:05:32Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• How Transformers Utilize Multi-Head Attention in In-Context Learning? A Case Study on Sparse Linear Regression [19.64743851296488]
  本研究では、疎線形回帰問題を考察し、訓練されたマルチヘッドトランスがコンテキスト内学習を行う方法を検討する。 マルチヘッドの利用は層間における異なるパターンを示すことが実験的に明らかになった。 このような前処理列最適化アルゴリズムは、直交勾配勾配とリッジ回帰アルゴリズムを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-08-08T15:33:02Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Clustering in pure-attention hardmax transformers and its role in sentiment analysis [0.0]
  ハードマックス自己アテンションと正規化サブ層を有する変圧器の挙動を, 層数が無限大になる傾向があるため, 厳密に特徴づける。 変換器は、リーダーと呼ばれる特別な点によって決定されるクラスター平衡にインプット的に収束することを示す。 そして、この理論的理解を利用して、完全に解釈可能なトランスフォーマーモデルを用いて、言語処理から感情分析問題を解く。
  論文  参考訳（メタデータ） (2024-06-26T16:13:35Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Signal Propagation in Transformers: Theoretical Perspectives and the Role of Rank Collapse [11.486545294602697]
  我々はトランスフォーマーにおけるランク崩壊の原因と影響に新たな光を当てた。 トークン表現のランク崩壊は,クエリやキーの勾配がなくなることによって,トレーニングを妨げていることを示す。
  論文  参考訳（メタデータ） (2022-06-07T09:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。