論文の概要: Symbolic Brittleness in Sequence Models: on Systematic Generalization in Symbolic Mathematics

• arxiv url: http://arxiv.org/abs/2109.13986v1
• Date: Tue, 28 Sep 2021 18:50:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 06:18:39.109375
• Title: Symbolic Brittleness in Sequence Models: on Systematic Generalization in Symbolic Mathematics
• Title（参考訳）: 系列モデルの記号的脆性:記号数学の体系的一般化について
• Authors: Sean Welleck, Peter West, Jize Cao, Yejin Choi
• Abstract要約: 我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。 本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。 本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
• 参考スコア（独自算出の注目度）: 38.62999063710003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural sequence models trained with maximum likelihood estimation have led to breakthroughs in many tasks, where success is defined by the gap between training and test performance. However, their ability to achieve stronger forms of generalization remains unclear. We consider the problem of symbolic mathematical integration, as it requires generalizing systematically beyond the test set. We develop a methodology for evaluating generalization that takes advantage of the problem domain's structure and access to a verifier. Despite promising in-distribution performance of sequence-to-sequence models in this domain, we demonstrate challenges in achieving robustness, compositionality, and out-of-distribution generalization, through both carefully constructed manual test suites and a genetic algorithm that automatically finds large collections of failures in a controllable manner. Our investigation highlights the difficulty of generalizing well with the predominant modeling and learning approach, and the importance of evaluating beyond the test set, across different aspects of generalization.
• Abstract（参考訳）: 最大推定でトレーニングされたニューラルシーケンスモデルは、多くのタスクにおいてブレークスルーをもたらし、トレーニングとテストパフォーマンスのギャップによって成功が定義される。 しかし、より強固な一般化を実現する能力は未だ不明である。 テスト集合を超えて体系的に一般化する必要があるため、記号的数学的統合の問題を考える。 本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。 この領域におけるシーケンス・ツー・シーケンスモデルの分配性能は有望であるにもかかわらず、慎重に構築された手動テストスイートと、制御可能な方法で大量の障害を自動的に検出する遺伝的アルゴリズムの両方を通して、ロバスト性、構成性、分布外一般化を実現する上での課題を示す。 本研究は、主観的なモデリングと学習のアプローチでうまく一般化することの難しさと、一般化のさまざまな側面において、テストセットを超えて評価することの重要性を強調した。

関連論文リスト

• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
  本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T14:36:49Z)
• A Comprehensive Augmentation Framework for Anomaly Detection [1.6114012813668932]
  本稿では,再構成ネットワークのトレーニングに寄与するシミュレーション異常の重要な特徴を解析する。 我々は、このフレームワークを再構築ベースのアプローチと統合し、同時に分割トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:00:35Z)
• A Hybrid System for Systematic Generalization in Simple Arithmetic Problems [70.91780996370326]
  本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。 提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-29T18:35:41Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• Neural Networks and the Chomsky Hierarchy [27.470857324448136]
  チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T15:06:11Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。