論文の概要: Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO

• arxiv url: http://arxiv.org/abs/2508.15766v1
• Date: Thu, 21 Aug 2025 17:58:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.442072
• Title: Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
• Title（参考訳）: ランクアウェアビームGRPOを用いた変圧器による隠れ代数構造の発見
• Authors: Jaeha Lee, Gio Huh, Ning Su, Tony Yue YU,
• Abstract要約: 我々は,問題複雑性のきめ細かい制御が可能な合成データ生成パイプラインを開発した。 第二に、教師付き学習を通してトランスフォーマーモデルを訓練し、スケーリング行動と一般化可能性を含む4つの重要な次元にわたって評価する。 第3に,厳密な代数問題に適したランク対応強化学習法であるビーム群相対ポリシー(BGRPO)を提案する。
• 参考スコア（独自算出の注目度）: 0.7885422274206872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent efforts have extended the capabilities of transformers in logical reasoning and symbolic computations. In this work, we investigate their capacity for non-linear latent pattern discovery in the context of functional decomposition, focusing on the challenging algebraic task of multivariate polynomial decomposition. This problem, with widespread applications in science and engineering, is proved to be NP-hard, and demands both precision and insight. Our contributions are threefold: First, we develop a synthetic data generation pipeline providing fine-grained control over problem complexity. Second, we train transformer models via supervised learning and evaluate them across four key dimensions involving scaling behavior and generalizability. Third, we propose Beam Grouped Relative Policy Optimization (BGRPO), a rank-aware reinforcement learning method suitable for hard algebraic problems. Finetuning with BGRPO improves accuracy while reducing beam width by up to half, resulting in approximately 75% lower inference compute. Additionally, our model demonstrates competitive performance in polynomial simplification, outperforming Mathematica in various cases.
• Abstract（参考訳）: 近年の取り組みは、論理的推論や記号計算におけるトランスフォーマーの能力を拡張している。 本研究では,多変量多項式分解の代数的課題に着目し,関数分解の文脈における非線形潜在パターン発見の能力について検討する。 この問題は、科学と工学に広く応用され、NPハードであることが証明され、精度と洞察の両方を要求する。 まず、問題複雑性をきめ細かく制御する合成データ生成パイプラインを開発します。 第二に、教師付き学習を通してトランスフォーマーモデルを訓練し、スケーリング行動と一般化可能性を含む4つの重要な次元にわたって評価する。 第3に,厳密な代数問題に適したランク対応強化学習法であるビーム群相対ポリシー最適化(BGRPO)を提案する。 BGRPOによるファインタニングは、ビーム幅を最大半減させながら精度を向上し、およそ75%低い推論計算をもたらす。 さらに,本モデルでは,多項式単純化における競合性能を実証し,様々な場合においてMathematicaよりも優れていた。

関連論文リスト

• Reinforcement Learning in hyperbolic space for multi-step reasoning [3.3031136203291833]
  多段階推論は人工知能の基本的な課題である。 トランスフォーマーアーキテクチャと双曲幾何学の最近の進歩は、新しい解決策をもたらした。 本稿では,多段階推論のための強化学習に双曲変換器を統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-21T21:59:05Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• GSB: Group Superposition Binarization for Vision Transformer with Limited Training Samples [46.025105938192624]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて顕著に機能している。 ViTは通常、比較的限られた数のトレーニングサンプルで深刻なオーバーフィッティング問題に悩まされる。 本稿では,GSB(Group Superposition Binarization)と呼ばれる新しいモデルバイナライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2023-05-13T14:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。