論文の概要: Provable Adversarial Robustness in In-Context Learning
- arxiv url: http://arxiv.org/abs/2602.17743v1
- Date: Thu, 19 Feb 2026 12:37:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.093375
- Title: Provable Adversarial Robustness in In-Context Learning
- Title（参考訳）: 文脈内学習における確率的対向ロバスト性
- Authors: Di Zhang,
- Abstract要約: 大規模言語モデルは、パラメータを更新せずにICL(In-context Learning)を通じて新しいタスクに適応する。
この能力に関する現在の理論的説明は、テストタスクが事前訓練中に見られるような分布から引き出されることを前提としている。
We introduced a distributionly robust meta-learning framework that provide worst-case performance guarantees for ICL under Wasserstein based distribution shifts。
- 参考スコア（独自算出の注目度）: 8.201374511929538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models adapt to new tasks through in-context learning (ICL) without parameter updates. Current theoretical explanations for this capability assume test tasks are drawn from a distribution similar to that seen during pretraining. This assumption overlooks adversarial distribution shifts that threaten real-world reliability. To address this gap, we introduce a distributionally robust meta-learning framework that provides worst-case performance guarantees for ICL under Wasserstein-based distribution shifts. Focusing on linear self-attention Transformers, we derive a non-asymptotic bound linking adversarial perturbation strength ($ρ$), model capacity ($m$), and the number of in-context examples ($N$). The analysis reveals that model robustness scales with the square root of its capacity ($ρ_{\text{max}} \propto \sqrt{m}$), while adversarial settings impose a sample complexity penalty proportional to the square of the perturbation magnitude ($N_ρ- N_0 \propto ρ^2$). Experiments on synthetic tasks confirm these scaling laws. These findings advance the theoretical understanding of ICL's limits under adversarial conditions and suggest that model capacity serves as a fundamental resource for distributional robustness.
- Abstract（参考訳）: 大規模言語モデルは、パラメータを更新せずにICL(In-context Learning)を通じて新しいタスクに適応する。
この能力に関する現在の理論的説明は、テストタスクが事前訓練中に見られるような分布から引き出されることを前提としている。
この仮定は、現実世界の信頼性を脅かす敵の分布シフトを見落としている。
このギャップに対処するため、我々は、Wassersteinベースの分散シフトの下で、ICLの最悪のパフォーマンス保証を提供する、分布的に堅牢なメタラーニングフレームワークを導入しました。
線形自己アテンション変換器に着目して、非漸近的有界束縛強度(ρ$)、モデル容量(m$)、文脈内例(N$)の数を導出する。
解析により、モデルロバストネスはその容量の平方根(ρ_{\text{max}} \propto \sqrt{m}$)でスケールするのに対し、逆向きの設定は摂動のマグニチュード(N_ρ-N_0 \propto ρ^2$)の平方に比例するサンプル複雑性のペナルティを課す。
合成タスクの実験はこれらのスケーリング法則を裏付ける。
これらの知見は、逆条件下でのICLの限界の理論的理解を前進させ、モデル容量が分散ロバスト性の基礎となることを示唆している。
関連論文リスト
- Beyond Confidence: The Rhythms of Reasoning in Generative Models [16.58205184223738]
大きな言語モデル(LLM)は、わずかに入力コンテキストの変化に対する感度に悩まされ、信頼性を損なうという印象的な能力を示す。
我々は,LLMが耐えうる最大内部状態を,その支配的な次トーケン予測が大幅に変化する前に定量化する新しい計量であるToken Constraint Bound(_mathrmTCB$)を紹介する。
実験の結果, 実効的なプロンプトエンジニアリングと相関し, 文脈内学習やテキスト生成において, 難易度に欠ける致命的な予測不安定性を明らかにすることができた。
論文 参考訳（メタデータ） (2026-02-11T12:58:23Z) - Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。
既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。
我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
論文 参考訳（メタデータ） (2026-02-11T02:00:25Z) - Bulk-Calibrated Credal Ambiguity Sets: Fast, Tractable Decision Making under Out-of-Sample Contamination [8.826173150779145]
分散ロバストな最適化(DRO)は、あいまいさセットよりも最悪のケースで予想される損失を最小化する。
我々は,IPクレダルセットが,解釈可能な許容レベルを持つDRO目標にどのように変換されるかを示す。
論文 参考訳（メタデータ） (2026-01-29T06:37:36Z) - Scaling Laws and In-Context Learning: A Unified Theoretical Framework [0.0]
インコンテキスト学習(ICL)により、大規模な言語モデルでは、パラメータ更新なしでデモから新しいタスクに適応することができる。
変換器におけるスケーリング法則とICLの出現を結合する統一理論的枠組みを提案する。
ICLの性能はモデル深度$L$, 幅$d$, コンテキスト長$k$, トレーニングデータ$D$, タスク構造によって決定される指数に従うことを示す。
論文 参考訳（メタデータ） (2025-11-09T05:19:14Z) - In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。
一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。
後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
論文 参考訳（メタデータ） (2025-10-13T03:42:31Z) - Probabilistic Variational Contrastive Learning [8.23660331371415]
我々は,エビデンスローバウンド(ELBO)を最大化するデコーダフリーフレームワークを提案する。
約$q_theta(z|x)$を投影正規分布としてモデル化し、確率的埋め込みのサンプリングを可能にする。
論文 参考訳（メタデータ） (2025-06-11T20:26:07Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T12:46:04Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳（メタデータ） (2020-11-11T18:17:09Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。