論文の概要: Theory on Attention Dynamics for Out-of-Distribution In-Context Learning

• arxiv url: http://arxiv.org/abs/2609.36448v1
• Date: Tue, 29 Sep 2026 01:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.084041
• Title: Theory on Attention Dynamics for Out-of-Distribution In-Context Learning
• Title（参考訳）: アウト・オブ・ディストリビューション・イン・テクスト学習のための注意ダイナミクスの理論
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の入力はトレーニング分布から逸脱し、基礎となる理論はいまだに理解されていない。 入力分布シフトの下でのOOD誤差を,いわゆる$-typeと$-typeの注意重みのダイナミクス間の相互作用によって特徴づける。 以上の結果から,OODの誤差はトレーニング特徴とOOD特徴の相互関係に大きく依存しており,特定の場合において,変圧器はランダムな推測よりは優れていないことが示唆された。
• 参考スコア（独自算出の注目度）: 45.65444822175888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have demonstrated remarkable in-context learning (ICL) capabilities, enabling them to perform new tasks without additional fine-tuning. However, their performance often deteriorates when encountering out-of-distribution (OOD) inputs that deviate from the training distribution, and the underlying theory remains poorly understood. To fill this gap, we characterize the OOD error under the input distribution shift through the interplay between the dynamics of the so-called $α$-type and $β$-type attention weights, which represent the transformer's confidence in identifying the correct and incorrect features, respectively. Our results indicate that the OOD error for each feature depends on all pairwise interactions between the training features and OOD features, and under certain cases the transformer performs no better than random guessing. To improve the OOD generalization performance, we next investigate the impact of model finetuning with the OOD data, and particularly, characterize the model forgetting performance on the source domain. Interestingly, the performance on the source domain may not always degrade after finetuning, which highly depends on the nature of the feature shift: finetuning on OOD domain keeps enhancing the confidence of identifying correct features from the original distribution, while the interference from other incorrect features may either increase or decrease. Extensive experiments on both synthetic and real data are conducted to corroborate the theoretical insights.
• Abstract（参考訳）: トランスフォーマーは、優れたインコンテキスト学習(ICL)機能を示しており、追加の微調整なしに新しいタスクを実行できる。 しかし、トレーニング分布から逸脱するアウト・オブ・ディストリビューション(OOD)インプットに遭遇すると、その性能は劣化することが多く、基礎となる理論はよく分かっていない。 このギャップを埋めるために、入力分布シフトの下でのOOD誤差を、いわゆる$α$-typeと$β$-typeの注意重みのダイナミックス間の相互作用を通して特徴付ける。 以上の結果から,OODの誤差はトレーニング特徴とOOD特徴の相互関係に大きく依存しており,特定の場合において,変圧器はランダムな推測よりは優れていないことが示唆された。 OODの一般化性能を改善するため,OODデータを用いたモデル微調整の影響について検討する。 興味深いことに、ソースドメインのパフォーマンスは、微調整後に常に低下するわけではない。これは、機能シフトの性質に大きく依存している。 OODドメインの微調整は、元のディストリビューションから正しい特徴を識別する信頼性を高め続ける一方で、他の不正な特徴からの干渉は増加または減少する可能性がある。 合成データと実データの両方に関する大規模な実験を行い、理論的な洞察を裏付ける。

関連論文リスト

• How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability [10.056026416603006]
  本稿では,変圧器のOOD検出確率近似(PAC)理論を紹介する。 条件下での十分なデータで、アウトリーチを正確に表現し、区別できることが示される。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。
  論文  参考訳（メタデータ） (2024-06-13T17:54:09Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Spurious Feature Diversification Improves Out-of-distribution Generalization [43.84284578270031]
  アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。 We observed an unexpected FalseFalseTrue, where WiSE-FT successfully corrects many case that each each model makes wrong corrects。
  論文  参考訳（メタデータ） (2023-09-29T13:29:22Z)
• Understanding and Improving Feature Learning for Out-of-Distribution Generalization [41.06375309780553]
  我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。 反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。 実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
  論文  参考訳（メタデータ） (2023-04-22T05:57:00Z)
• Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
  外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。 我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-09T04:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。