論文の概要: A Symbolic Framework for Systematic Evaluation of Mathematical Reasoning with Transformers

• arxiv url: http://arxiv.org/abs/2305.12563v1
• Date: Sun, 21 May 2023 20:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 19:33:52.995476
• Title: A Symbolic Framework for Systematic Evaluation of Mathematical Reasoning with Transformers
• Title（参考訳）: 変圧器を用いた数学的推論の体系的評価のための記号的枠組み
• Authors: Jordan Meadows, Marco Valentino, Damien Teney, Andre Freitas
• Abstract要約: 我々は、複雑な数学的導出を生成するためのデータ生成法を考案し、構文、構造、意味論に関してそれらを体系的に摂動する。 次に、次の方程式予測に関する一般的な実験フレームワークをインスタンス化し、体系的な数学的推論とトランスフォーマーエンコーダの一般化を合計200Kの例で評価する。 実験の結果、摂動がパフォーマンスに大きく影響し、F1スコアが97%$から17%$以下に減少することが明らかとなり、推論は数学的作用素の深い理解とは無関係な表面レベルのパターンに支配されていることが示唆された。
• 参考スコア（独自算出の注目度）: 14.76726115772225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whether Transformers can learn to apply symbolic rules and generalise to out-of-distribution examples is an open research question. In this paper, we devise a data generation method for producing intricate mathematical derivations, and systematically perturb them with respect to syntax, structure, and semantics. Our task-agnostic approach generates equations, annotations, and inter-equation dependencies, employing symbolic algebra for scalable data production and augmentation. We then instantiate a general experimental framework on next-equation prediction, assessing systematic mathematical reasoning and generalisation of Transformer encoders on a total of 200K examples. The experiments reveal that perturbations heavily affect performance and can reduce F1 scores of $97\%$ to below $17\%$, suggesting that inference is dominated by surface-level patterns unrelated to a deeper understanding of mathematical operators. These findings underscore the importance of rigorous, large-scale evaluation frameworks for revealing fundamental limitations of existing models.
• Abstract（参考訳）: トランスフォーマーがシンボリックルールを適用し、分散の例に一般化できるかどうかは、オープンリサーチの問題である。 本稿では,複雑な数学的導出を生成するデータ生成法を考案し,構文,構造,意味論に関して体系的に摂動する。 我々のタスク依存アプローチは、スケーラブルなデータ生成と拡張のためにシンボリック代数を用いて、方程式、アノテーション、および方程式間の依存関係を生成する。 次に,次の等式予測に関する一般的な実験枠組みをインスタンス化し,200kの例を用いた系統的数学的推論と変圧器エンコーダの一般化を評価する。 実験の結果、摂動は性能に大きく影響し、f1スコアを$17\%$未満に抑えることが判明し、推論は数学的演算子の深い理解とは無関係な表面レベルのパターンによって支配されていることが示唆された。 これらの知見は、既存のモデルの基本的限界を明らかにするための厳密で大規模な評価フレームワークの重要性を強調している。

関連論文リスト

• Harmonic Loss Trains Interpretable AI Models [13.745919535064429]
  ニューラルネットワークと大規模言語モデルのトレーニングにおいて,標準的なクロスエントロピー損失の代替として調和損失を導入する。 まず、アルゴリズム、ビジョン、言語データセット間での調和モデルの性能を検証する。 a) 解釈可能性の向上, (b) 一般化のために少ないデータを必要とすること, (c) グルーキングを減らすこと。
  論文  参考訳（メタデータ） (2025-02-03T18:57:17Z)
• Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
  ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。 本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。 本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
  論文  参考訳（メタデータ） (2025-01-02T17:01:06Z)
• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Fairness-Aware Estimation of Graphical Models [13.39268712338485]
  本稿では,グラフィカルモデル(GM)の推定における公平性の問題について検討する。 標準GMは、特に基礎となるデータが機密性や保護されたグループに関わる場合、バイアスのある結果をもたらす可能性がある。 本稿では,保護属性に関連するGMの推定におけるバイアス低減を目的とした包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:30:00Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Controlling Equational Reasoning in Large Language Models with Prompt Interventions [3.9735602856280132]
  本稿では,Large Language Models (LLMs) における幻覚率を,シンボルデータ生成フレームワークを用いて制御する方法を検討する。 シンボルエンジンを用いて導出タスクのデータを生成し、数学的導出の特徴を摂動させるために目的の介入を適用する。 次に、細調整されたT5モデル、GPTモデル、LLaMaモデルを含む、様々なLLMに対する迅速な介入の効果を評価する。
  論文  参考訳（メタデータ） (2023-07-19T14:13:02Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。