論文の概要: At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization

• arxiv url: http://arxiv.org/abs/2606.26396v1
• Date: Wed, 24 Jun 2026 21:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.086434
• Title: At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization
• Title（参考訳）: 理解の最前線:スパースオートエンコーダは変圧器一般化の限界を辿る
• Abstract要約: 本稿では,変圧器モデルロバストネスの正確な輪郭を記述するための力学的枠組みを提案する。 OOD入力は、微妙なタイプミスやジェイルブレイクプロンプトを含むもので、言語モデルが内部で多くの誤った概念を操作できるようにする。
• 参考スコア（独自算出の注目度）: 4.857288562417505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformers have demonstrated remarkable generalization abilities, at times extending beyond the scope of their training data. Yet, real-world deployments often face unexpected or adversarial data that diverges from training data distributions. Without explicit mechanisms for handling such shifts, model reliability and safety degrade, urging more disciplined study of out-of-distribution (OOD) settings for transformers. By systematic experiments, we present a mechanistic framework for delineating the precise contours of transformer model robustness. We find that OOD inputs, including subtle typos and jailbreak prompts, drive language models to operate on an increased number of fallacious concepts in their internals. We leverage this device to quantify and understand the degree of distributional shift in prompts, enabling a mechanistically grounded fine-tuning strategy to robustify LLMs. Expanding the very notion of OOD from input data to a model's private computational processes, a new transformer diagnostic at inference time is a critical step toward making AI systems safe for deployment across science, business, and government.
• Abstract（参考訳）: 事前学習されたトランスフォーマーは、トレーニングデータの範囲を超えて、顕著な一般化能力を示している。 しかし、現実のデプロイメントは、トレーニングデータディストリビューションから逸脱する予期せぬ、あるいは敵対的なデータに直面することが多い。 このようなシフトを扱うための明確なメカニズムがなければ、モデルの信頼性と安全性は低下し、トランスフォーマーのアウト・オブ・ディストリビューション(OOD)設定のより厳格な研究が促される。 系統的な実験により, 変圧器モデルロバストネスの正確な輪郭を記述するための力学的枠組みを提案する。 OOD入力は、微妙なタイプミスやジェイルブレイクプロンプトを含むもので、言語モデルが内部で多くの誤った概念を操作できるようにする。 我々はこの装置を利用して、プロンプトの分布変化の度合いを定量化し、理解し、機械的に基礎付けられた微調整戦略によりLSMを堅牢化することができる。 入力データからモデルのプライベートな計算プロセスまで、OODの概念そのものを拡張することで、推論時の新たなトランスフォーマー診断が、科学、ビジネス、政府をまたいでAIシステムを安全にデプロイするための重要なステップとなります。

関連論文リスト

• From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers [4.857288562417505]
  トランスモデルの出力における幻覚は、トランス層活性化に埋め込まれた概念パターンから確実に予測できる。 この洞察の収集は、AIモデルと人間の価値の整合性、AIの安全性、潜在的な敵攻撃に対する攻撃面の開放に直ちに影響する。
  論文  参考訳（メタデータ） (2025-09-08T17:50:45Z)
• How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability [10.056026416603006]
  本稿では,変圧器のOOD検出確率近似(PAC)理論を紹介する。 条件下での十分なデータで、アウトリーチを正確に表現し、区別できることが示される。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。
  論文  参考訳（メタデータ） (2024-06-13T17:54:09Z)
• FaultFormer: Pretraining Transformers for Adaptable Bearing Fault Classification [7.136205674624813]
  本稿では,トランスモデルに基づく自己教師型事前学習および微調整フレームワークを提案する。 特に、最先端のアキュラシーに到達するための異なるトークン化とデータ拡張戦略について検討する。 このパラダイムでは、異なるベアリング、障害、機械からラベル付けされていないデータに基づいてモデルを事前訓練し、新しいデータスカースアプリケーションに素早くデプロイすることが可能になる。
  論文  参考訳（メタデータ） (2023-12-04T22:51:02Z)
• Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining [25.669038513039357]
  本稿では,テキスト内強化学習のための教師付き事前学習を理論的に分析する枠組みを提案する。 ReLUに着目した変換器は、最適に近いオンライン強化学習アルゴリズムを効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T17:55:02Z)
• SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [75.14793516745374]
  本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。 実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T21:19:12Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Birth of a Transformer: A Memory Viewpoint [25.294093283819443]
  トランスフォーマーに基づく大規模言語モデルは、経験的成功を収めた。 より広くデプロイされているため、より信頼性を高めるために、内部メカニズムをよりよく理解する必要がある。 本研究では,グローバルあるいはコンテキスト固有のビッグラムからトークンが生成される合成セットアップを考慮し,これらの2種類の知識分布のバランスについて検討する。
  論文  参考訳（メタデータ） (2023-06-01T15:30:33Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
  半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2022-05-18T16:50:20Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。