論文の概要: Leaner Transformers Can Easily Learn to Cluster
- arxiv url: http://arxiv.org/abs/2610.09760v1
- Date: Wed, 07 Oct 2026 09:46:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.838024
- Title: Leaner Transformers Can Easily Learn to Cluster
- Title（参考訳）: リーントランスフォーマーは簡単にクラスタ化を学べる
- Abstract要約: トランスフォーマーにはコンテキスト内学習機能があり、モデルの前方通過で既知の学習アルゴリズムを実行できる。
最近の研究で、変換器は$k$-meansクラスタリングに対して$d次元の$n$ポイントでロイドのアルゴリズムを正確に実行できることが示されている。
- 参考スコア（独自算出の注目度）: 16.048945947810115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have in-context learning capabilities, where some known learning algorithms can be executed in the forward pass through the model. Recent work shows that transformers can exactly perform Lloyd's algorithm for $k$-means clustering with $n$ points in $d$ dimensions with an embedding size $d_{\textsf{emb}} = d+k$ (thus, requiring attention projection matrices of size $(d+k)^2$). In this work, we build upon this result in the following ways: First, we present an equally expressive but smaller transformer that executes Lloyd's algorithm with embedding size $d_{\textsf{emb}} = (d + \lceil \log_2 k \rceil)$. Next, we train these transformers to learn the clustering algorithms given a distribution of clustering tasks, and theoretically characterize and empirically validate the factors affecting the convergence and in-distribution generalization of learning algorithms based on stochastic gradients. Finally, we probe the general clustering abilities of these learned algorithms (in the form of transformers), and try to understand situations where they succeed and fail.
- Abstract（参考訳）: トランスフォーマーにはコンテキスト内学習機能があり、モデルの前方通過で既知の学習アルゴリズムを実行できる。
最近の研究によると、変換器は$k$-meansクラスタリングのロイドのアルゴリズムを正確に実行でき、$d$次元の$n$ポイントで埋め込みサイズ$d_{\textsf{emb}} = d+k$ (thus, requires attention projection matrices of size $(d+k)^2$)で実現できる。
まず,Lydのアルゴリズムを,埋め込みサイズ$d_{\textsf{emb}} = (d + \lceil \log_2 k \rceil)$で実行します。
次に,これらの変圧器を用いて,クラスタリングタスクの分布が与えられたクラスタリングアルゴリズムを学習し,確率勾配に基づく学習アルゴリズムの収束および分布内一般化に影響を与える要因を理論的に特徴づけ,実証的に検証する。
最後に、これらの学習アルゴリズムの一般的なクラスタリング能力(トランスフォーマーの形で)を探索し、それらが成功して失敗する状況を理解しようとする。
関連論文リスト
- When Do Transformers Learn Heuristics for Graph Connectivity? [33.73385470817422]
我々は、直径が$3Lのグラフに対して、$L$層モデルで解く能力があることを証明した。
トレーニングの力学を解析し、学習した戦略が、ほとんどのトレーニングインスタンスがこのモデルのキャパシティ内にあるかどうかにかかっていることを示す。
論文 参考訳（メタデータ） (2025-10-22T16:43:32Z) - Finding Clustering Algorithms in the Transformer Architecture [16.336124248778496]
変換器は$k$-meansクラスタリングのための基本的かつ広く使用されるアルゴリズムを実装可能であることを示す。
我々はこの変換器を数値的に実装し、我々のアーキテクチャとロイドのアルゴリズムの正確な対応を実験で実証する。
我々の研究結果は、トランスに正確なアルゴリズムを実装する上で、明確かつ解釈可能な視点を提供する。
論文 参考訳（メタデータ） (2025-06-23T20:52:01Z) - Provable Failure of Language Models in Learning Majority Boolean Logic via Gradient Descent [15.291830857281015]
勾配法を用いて学習すると,トランスフォーマーが真に単純な多数関数を学習できるかどうかを検討する。
我々の分析は、$mathrmpoly(d)$グラデーションクエリ後も、Transformerモデルの一般化誤差は依然としてかなり大きいことを証明している。
論文 参考訳（メタデータ） (2025-04-07T03:08:12Z) - (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。
トランスフォーマーは、未知のmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
また、Transformerは、$m_texttest = 216$まで、unseen moduliに一般化できることを示す。
論文 参考訳（メタデータ） (2025-02-14T18:59:40Z) - On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
多様なタスクを伴う線形回帰のための文脈内学習について検討する。
We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
論文 参考訳（メタデータ） (2024-10-29T03:27:56Z) - Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。
例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文 参考訳（メタデータ） (2024-10-03T21:21:02Z) - Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。
この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
論文 参考訳（メタデータ） (2024-02-20T10:11:03Z) - How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T16:24:44Z) - $O(n)$ Connections are Expressive Enough: Universal Approximability of
Sparse Transformers [71.31712741938837]
注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。
また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
論文 参考訳（メタデータ） (2020-06-08T18:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。