論文の概要: A Symbolic Framework for Systematic Evaluation of Mathematical Reasoning with Transformers

• arxiv url: http://arxiv.org/abs/2305.12563v1
• Date: Sun, 21 May 2023 20:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 19:33:52.995476
• Title: A Symbolic Framework for Systematic Evaluation of Mathematical Reasoning with Transformers
• Title（参考訳）: 変圧器を用いた数学的推論の体系的評価のための記号的枠組み
• Authors: Jordan Meadows, Marco Valentino, Damien Teney, Andre Freitas
• Abstract要約: 我々は、複雑な数学的導出を生成するためのデータ生成法を考案し、構文、構造、意味論に関してそれらを体系的に摂動する。 次に、次の方程式予測に関する一般的な実験フレームワークをインスタンス化し、体系的な数学的推論とトランスフォーマーエンコーダの一般化を合計200Kの例で評価する。 実験の結果、摂動がパフォーマンスに大きく影響し、F1スコアが97%$から17%$以下に減少することが明らかとなり、推論は数学的作用素の深い理解とは無関係な表面レベルのパターンに支配されていることが示唆された。
• 参考スコア（独自算出の注目度）: 14.76726115772225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whether Transformers can learn to apply symbolic rules and generalise to out-of-distribution examples is an open research question. In this paper, we devise a data generation method for producing intricate mathematical derivations, and systematically perturb them with respect to syntax, structure, and semantics. Our task-agnostic approach generates equations, annotations, and inter-equation dependencies, employing symbolic algebra for scalable data production and augmentation. We then instantiate a general experimental framework on next-equation prediction, assessing systematic mathematical reasoning and generalisation of Transformer encoders on a total of 200K examples. The experiments reveal that perturbations heavily affect performance and can reduce F1 scores of $97\%$ to below $17\%$, suggesting that inference is dominated by surface-level patterns unrelated to a deeper understanding of mathematical operators. These findings underscore the importance of rigorous, large-scale evaluation frameworks for revealing fundamental limitations of existing models.
• Abstract（参考訳）: トランスフォーマーがシンボリックルールを適用し、分散の例に一般化できるかどうかは、オープンリサーチの問題である。 本稿では,複雑な数学的導出を生成するデータ生成法を考案し,構文,構造,意味論に関して体系的に摂動する。 我々のタスク依存アプローチは、スケーラブルなデータ生成と拡張のためにシンボリック代数を用いて、方程式、アノテーション、および方程式間の依存関係を生成する。 次に,次の等式予測に関する一般的な実験枠組みをインスタンス化し,200kの例を用いた系統的数学的推論と変圧器エンコーダの一般化を評価する。 実験の結果、摂動は性能に大きく影響し、f1スコアを$17\%$未満に抑えることが判明し、推論は数学的演算子の深い理解とは無関係な表面レベルのパターンによって支配されていることが示唆された。 これらの知見は、既存のモデルの基本的限界を明らかにするための厳密で大規模な評価フレームワークの重要性を強調している。

関連論文リスト

• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Fairness-Aware Estimation of Graphical Models [13.39268712338485]
  本稿では,グラフィカルモデル(GM)の推定における公平性の問題について検討する。 標準GMは、特に基礎となるデータが機密性や保護されたグループに関わる場合、バイアスのある結果をもたらす可能性がある。 本稿では,保護属性に関連するGMの推定におけるバイアス低減を目的とした包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:30:00Z)
• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Generating Mathematical Derivations with Large Language Models [2.363388546004777]
  シンボリックエンジンを利用して、スケールでの方程式の導出を生成する。 目的方程式を前提から導出する際の大規模言語モデルの能力について検討する。
  論文  参考訳（メタデータ） (2023-07-19T14:13:02Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Theory-guided Auto-Encoder for Surrogate Construction and Inverse Modeling [0.0]
  このフレームワークは畳み込みニューラルネットワーク(CNN)のAuto-Encoderアーキテクチャに基づいている。 研究された問題の統治方程式は離散化することができ、方程式の有限差分スキームはCNNの訓練に組み込むことができる。 トレーニングされたTgAEは、モデルパラメータとレスポンスの関係を限定ラベル付きデータで近似するサロゲートを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-11-17T13:23:03Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。