論文の概要: Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers

• arxiv url: http://arxiv.org/abs/2609.31458v1
• Date: Fri, 25 Sep 2026 16:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.483032
• Title: Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers
• Title（参考訳）: 幾何学的複雑さの増大下における非パラメトリックインコンテキスト学習:変圧器の極小最適性と局所幾何学的適応性
• Abstract要約: 本研究では,未知の局所幾何学の下での予測問題について検討する。 我々は,一致した上界を持つオラクル接点局所多項式推定器を構築した。 このクラスに対する経験的リスク最小化器のコンテキスト内一般化を導出する。
• 参考スコア（独自算出の注目度）: 2.757667582934974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become a central architecture for in-context learning (ICL), particularly through their state-of-the-art performance in large language models. This success motivates understanding how transformers exploit task-relevant structure in geometrically heterogeneous data. However, existing nonparametric ICL theory has largely focused on Euclidean domains or single-manifold models. To address this gap, we study the prediction problem under unknown local geometry, modeled by sample size-dependent mixtures of manifolds with heterogeneous dimensions, smoothness, and sampling masses. Under local separation and small-perturbation conditions, we establish a minimax lower bound capturing the aggregate difficulty of the components and construct an oracle tangent local-polynomial estimator with a matching upper bound. This estimator is connected to a structure-informed, two-stage softmax transformer with a geometric preconditioner and chartwise reduced local-polynomial solvers. The transformer achieves negligible approximation error relative to the minimax rate with logarithmic depth and polynomial size. Finally, we derive an in-context generalization bound for near empirical risk minimizers over this class. Together, these results identify conditions under which the resulting predictor exploits local geometry and attains the aggregate minimax rate.
• Abstract（参考訳）: トランスフォーマーは、特に大規模言語モデルにおける最先端のパフォーマンスを通じて、ICL(In-context Learning)の中心的なアーキテクチャとなっている。 この成功は、幾何学的に不均一なデータにおいて、トランスフォーマーがタスク関連構造をどのように活用するかを理解する動機となっている。 しかし、既存の非パラメトリックICL理論はユークリッド領域や単多様体モデルに主に焦点を当てている。 このギャップに対処するために、不均一次元、滑らか性、サンプリング質量を持つ多様体の標本サイズ依存混合によってモデル化された、未知の局所幾何学の下での予測問題について検討する。 局所分離および小摂動条件下では, 成分の集合的難易度を捕捉するミニマックス下界を確立し, 一致した上界を持つオラクル接点局所多項式推定器を構築した。 この推定器は、幾何学的プレコンディショナーとチャート的に縮小された局所多項式解器を備えた構造インフォームド2段ソフトマックス変換器に接続されている。 変圧器は、対数深さと多項式サイズのミニマックスレートに対して無視可能な近似誤差を達成する。 最後に、このクラス上でのほぼ経験的リスク最小化のために、文脈内一般化を導出する。 これらの結果は、結果の予測器が局所幾何学を利用し、集計ミニマックスレートに達する条件を特定する。

関連論文リスト

• Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
  未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。 既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
  論文  参考訳（メタデータ） (2026-05-27T14:02:20Z)
• Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
  Scoreベースの生成モデルは高次元空間で訓練されていることを示す。 有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
  論文  参考訳（メタデータ） (2026-05-15T10:20:05Z)
• A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
  本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。 MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。 合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-05T20:19:09Z)
• TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning [104.66714520975837]
  古典的タングラムゲームのレンズを通して構成空間推論を評価するために,幾何グラウンドのベンチマークを導入する。 本稿では,タングラム集合を正確に機械で検証可能な座標仕様でグルーピングする記号幾何学的枠組みであるタングラム構成式(TCE)を提案する。 MLLMは、幾何学的制約を無視しながら、ターゲットのシルエットとのマッチングを優先する傾向がある。
  論文  参考訳（メタデータ） (2026-01-23T07:35:05Z)
• Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm [5.625796693054093]
  過特定ガウス混合モデルに適用した場合のEMアルゴリズムの収束特性について検討する。 集団EMアルゴリズムはクルバック・リーブラー距離(KL)において指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2025-06-13T14:57:57Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• A Class of Geometric Structures in Transfer Learning: Minimax Bounds and Optimality [5.2172436904905535]
  我々はソースとターゲットドメインの幾何学的構造を転写学習に活用する。 提案手法は,中等度・高次元の両方で最先端の伝達学習法より優れる。
  論文  参考訳（メタデータ） (2022-02-23T18:47:53Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。