論文の概要: Learning the symmetric group: large from small

• arxiv url: http://arxiv.org/abs/2502.12717v1
• Date: Tue, 18 Feb 2025 10:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:05:24.433397
• Title: Learning the symmetric group: large from small
• Title（参考訳）: 対称群を学ぶ:小から大きい
• Authors: Max Petschack, Alexandr Garbali, Jan de Gier,
• Abstract要約: 置換予測を訓練したトランスフォーマーニューラルネットは、100%近い精度で対称群$S_25$に一般化できることを示す。 可変語長を管理するためのキーツールとしてアイデンティティ拡張を採用し、隣接する転置のトレーニングには分割ウィンドウを用いる。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License:
• Abstract: Machine learning explorations can make significant inroads into solving difficult problems in pure mathematics. One advantage of this approach is that mathematical datasets do not suffer from noise, but a challenge is the amount of data required to train these models and that this data can be computationally expensive to generate. Key challenges further comprise difficulty in a posteriori interpretation of statistical models and the implementation of deep and abstract mathematical problems. We propose a method for scalable tasks, by which models trained on simpler versions of a task can then generalize to the full task. Specifically, we demonstrate that a transformer neural-network trained on predicting permutations from words formed by general transpositions in the symmetric group $S_{10}$ can generalize to the symmetric group $S_{25}$ with near 100\% accuracy. We also show that $S_{10}$ generalizes to $S_{16}$ with similar performance if we only use adjacent transpositions. We employ identity augmentation as a key tool to manage variable word lengths, and partitioned windows for training on adjacent transpositions. Finally we compare variations of the method used and discuss potential challenges with extending the method to other tasks.
• Abstract（参考訳）: 機械学習による探索は、純粋数学における難しい問題の解決に多大な進展をもたらす可能性がある。 このアプローチの利点の1つは、数学的データセットがノイズに悩まされないことであるが、これらのモデルを訓練するために必要なデータの量と、このデータを生成するのに計算コストがかかることである。 重要な課題は、統計モデルの後方解釈と深部および抽象的な数学的問題の実装においてさらに困難である。 そこで本研究では,タスクのシンプルなバージョンで訓練されたモデルから,タスク全体を一般化する拡張性のあるタスクの手法を提案する。 具体的には、対称群$S_{10}$における一般転置によって形成される単語から置換を予測することを訓練したトランスフォーマーニューラルネットワークが、100倍近い精度で対称群$S_{25}$に一般化できることを実証する。 S_{10}$ が $S_{16}$ に一般化されることも示している。 可変語長を管理するためのキーツールとしてアイデンティティ拡張を採用し、隣接する転置のトレーニングには分割ウィンドウを用いる。 最後に、使用するメソッドのバリエーションを比較し、メソッドを他のタスクに拡張する際の潜在的な課題について議論する。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
  条件分布は機械学習の中心的な問題です ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。 我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
  論文  参考訳（メタデータ） (2024-10-03T16:12:59Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• On the Sample Complexity of Representation Learning in Multi-task Bandits with Global and Local structure [77.60508571062958]
  マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。 アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。 サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
  論文  参考訳（メタデータ） (2022-11-28T08:40:12Z)
• Arbitrarily Large Labelled Random Satisfiability Formulas for Machine Learning Training [5.414308305392762]
  決定問題を解くことなく、任意の大きさのランダムな式を正しくラベル付けする方法を示す。 我々は1万変数の式で満足度を予測するタスクのために、既存の最先端モデルを訓練する。 同じデータセットで99%をランダムに推測するのに勝るものは見当たらない。
  論文  参考訳（メタデータ） (2022-11-21T17:52:13Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms [0.0]
  弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。 この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
  論文  参考訳（メタデータ） (2021-11-30T14:16:48Z)
• Pretrained Language Models are Symbolic Mathematics Solvers too! [1.9240537487954366]
  変圧器のような大規模言語モデルは普遍的であり、複雑な方程式を解くためのシーケンス・ツー・シーケンス・タスクとして訓練することができる。 本稿では,まず言語翻訳による変圧器モデルの事前学習を行い,次に事前学習した変圧器モデルの微調整を行い,記号数学の下流課題を解決することで,記号処理の効率的な解法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T14:37:06Z)
• On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
  一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。 多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
  論文  参考訳（メタデータ） (2020-06-20T20:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。