Fugu-MT 論文翻訳(概要): From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP

論文の概要: From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP

arxiv url: http://arxiv.org/abs/2607.11760v1
Date: Mon, 13 Jul 2026 16:22:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.554698
Title: From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP
Title（参考訳）: 表現性からサンプル複雑度へ:C-RASPによるトランスフォーマーの狭義教師
Abstract要約: 変圧器の理論的理解は、大規模言語モデル(LLM)の能力と限界をよりよく理解するために不可欠である。本稿では,Transformerを用いてC-RASP構成を学習するためのサンプル複雑性境界を提案する。
参考スコア（独自算出の注目度）: 12.017256368061219
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A theoretical understanding of Transformers is crucial to better understand the capacities and limitations of large language models (LLMs). There is much work analyzing the expressivity of attention-based models. By proposing handcrafted weights or using computational complexity arguments, a large amount of past theoretical works have sought to characterize which tasks are and which are not in the hypothesis class of Transformer models. However, little work investigates the learnability of such solutions. In this work, we make progress towards this goal. Inspired by recent loss landscape analysis work, we propose preliminary sample complexity bounds for learning C-RASP constructions with Transformers.
Abstract（参考訳）: トランスフォーマーの理論的理解は、大きな言語モデル(LLM)の能力と限界をよりよく理解するために重要である。注意に基づくモデルの表現性の分析には多くの作業がある。手作り重みの提案や計算複雑性の議論の使用により、過去の多くの理論的研究は、どのタスクがどのタスクで、どれがトランスフォーマーモデルの仮説クラスにないかを特徴づけようと試みてきた。しかし、そのような解の学習可能性についてはほとんど研究されていない。この作業では、この目標に向かって前進します。近年のロスランドスケープ解析の成果に触発されて,トランスフォーマーを用いたC-RASP構築学習のための予備的サンプル複雑性境界を提案する。

関連論文リスト

In-Context Occam's Razor: How Transformers Prefer Simpler Hypotheses on the Fly [25.47694115798524]
In-context Learning (ICL) は、トランスフォーマーがパラメータを更新せずにコンテキストの例を通して新しいタスクに適応できるようにする。本稿では,より単純な処理によって生成される任意のパターンを,より複雑度の高いカテゴリで表現できる階層的タスク構造をトランスフォーマーがいかにナビゲートするかについて検討する。
論文参考訳（メタデータ） (2025-06-24T06:33:00Z)
Transformers for Learning on Noisy and Task-Level Manifolds: Approximation and Generalization Insights [47.62295798627317]
この研究は、多様体上のノイズの多い入力データを含む回帰タスクにおける変換器の性能を分析することによって理論的基礎を確立する。我々は、多様体の内在次元に決定的に依存する近似と一般化誤差を証明した。この結果から,入力データに高次元ノイズが伴う場合においても,学習課題における低複雑さ構造を活用できることが示唆された。
論文参考訳（メタデータ） (2025-05-06T05:41:46Z)
On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
論文参考訳（メタデータ） (2024-10-29T03:27:56Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Do Efficient Transformers Really Save Computation? [32.919672616480135]
我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
論文参考訳（メタデータ） (2024-02-21T17:00:56Z)
Understanding Addition in Transformers [2.07180164747172]
本稿では,n桁整数加算を行うために訓練された1層トランスフォーマーモデルの包括的解析を行う。提案手法は,各桁を対象とする並列ストリームに分割し,各桁の異なる位置に合わせて最適化されたアルゴリズムを用いることを示唆している。
論文参考訳（メタデータ） (2023-10-19T19:34:42Z)
Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文参考訳（メタデータ） (2023-05-29T23:24:14Z)
Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文参考訳（メタデータ） (2022-12-15T09:21:21Z)
Transformers from an Optimization Perspective [24.78739299952529]
本研究では,トランスフォーマーモデルに基づくエネルギー関数の探索問題について検討する。このような関数を見つけることで、解釈可能な最適化プロセスの展開として変換器を再解釈することができる。この研究はトランスフォーマーの直感と理解に寄与し、新しいモデル設計の基礎を築き上げている可能性がある。
論文参考訳（メタデータ） (2022-05-27T10:45:15Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。