論文の概要: Synthesizing Physics Formulae with Transformers

• arxiv url: http://arxiv.org/abs/2610.03947v1
• Date: Fri, 02 Oct 2026 19:05:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 21:33:22.484419
• Title: Synthesizing Physics Formulae with Transformers
• Title（参考訳）: 変圧器を用いた物理公式の合成
• Abstract要約: 入力出力ペアの集合に適合し、目に見えない入力の出力を予測するコンパクトな公式を見つける。 変換器のトレーニングに使用する公式の集合を定式化することでこの問題に対処し、結果の式外挿が著しく優れていることを示す。 SRBench と LLM-SRBench では、変換器は約10秒で公式を合成し、同等の予算で評価されたすべての方法よりも優れた外挿を行う。
• 参考スコア（独自算出の注目度）: 5.919989094747823
• License:
• Abstract: Finding a compact formula that fits a set of input-output pairs and predicts outputs on unseen inputs is a fundamental problem in science. Symbolic regression automates the search for such formulae: search-based methods explore the space of possible formulae directly, while transformers pre-trained on synthetic data produce formulae of comparable quality substantially faster. Existing transformers, however, are prone to overfitting --- they find formulae that fit the training data well but do not extrapolate to input ranges unseen during training. We address this by shaping the set of formulae used to train a transformer, and show that the resulting formulae extrapolate substantially better. Fine-tuning the transformer on data with noise-corrupted target values further makes the synthesized formulae robust to noise in the observations. On SRBench and LLM-SRBench our transformer synthesizes a formula in about ten seconds and extrapolates better than all evaluated methods at a comparable budget. Search-based methods surpass our accuracy only when given one to three orders of magnitude more time.
• Abstract（参考訳）: 一連の入出力ペアに適合し、目に見えない入力の出力を予測するコンパクトな公式を見つけることは、科学の基本的な問題である。 シンボリック回帰は、このような公式の探索を自動化する: 検索に基づく手法は、可能な公式の空間を直接探索し、一方、合成データで事前訓練された変換器は、同等の品質の式をかなり高速に生成する。 しかし、既存のトランスフォーマーは過度に適合する傾向があり、トレーニングデータによく適合するが、トレーニング中に目に見えない入力範囲に外挿しない公式を見つける。 変換器のトレーニングに使用する公式の集合を定式化することでこの問題に対処し、結果の式外挿が著しく優れていることを示す。 さらに、ノイズ崩壊対象値を持つデータに対する変換器の微調整により、合成された公式はさらに、観測においてノイズに頑健になる。 SRBench と LLM-SRBench では、変換器は約10秒で公式を合成し、同等の予算で評価されたすべての方法よりも優れた外挿を行う。 検索に基づく手法は、1～3桁の時間を与えられた場合にのみ精度を上回ります。

関連論文リスト

• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers [16.90294414874585]
  粗粒化モデルと変圧器モデルとの結合による音声スペクトログラム変換器の多相学習を提案する。 これらの手法の1つを利用することで、トランスフォーマーモデルは初期段階の低解像度(粗い)データから学習し、その後、カリキュラム学習戦略において高解像度のデータで微調整される。
  論文  参考訳（メタデータ） (2024-01-16T14:59:37Z)
• Transformers can optimally learn regression mixture models [22.85684729248361]
  変換器は回帰の混合に対して最適な予測器を学習できることを示す。 実験では、トランスフォーマーがサンプル効率のよい方法で回帰の混合を学習できることも示している。 決定理論の最適手順が実際に変換器によって実装可能であることを具体的確に証明する。
  論文  参考訳（メタデータ） (2023-11-14T18:09:15Z)
• SymFormer: End-to-end symbolic regression using transformer-based architecture [2.2049183478692584]
  そこで我々はSymFormerという変圧器に基づく手法を提案し,各シンボルと対応する定数を同時に出力することで式を予測する。 我々は,SymFormerが2つの最先端メソッドを高速な推論で上回り,その性能をベンチマークで示す。
  論文  参考訳（メタデータ） (2022-05-31T13:01:50Z)
• Iterative Decoding for Compositional Generalization in Transformers [5.269770493488338]
  シーケンシャル・ツー・シークエンス・ラーニングでは、トランスフォーマーは極端に長い例に対して正しい出力を予測できないことが多い。 本稿では,Seq2seq学習に代わる反復復号法を提案する。 反復復号により訓練されたトランスフォーマーはPCFGデータセット上でセq2seqよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-08T14:52:25Z)
• Deep Transformer Networks for Time Series Classification: The NPP Safety Case [59.20947681019466]
  時間依存nppシミュレーションデータをモデル化するために、教師付き学習方法でトランスフォーマと呼ばれる高度なテンポラルニューラルネットワークを使用する。 トランスはシーケンシャルデータの特性を学習し、テストデータセット上で約99%の分類精度で有望な性能が得られる。
  論文  参考訳（メタデータ） (2021-04-09T14:26:25Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。