論文の概要: Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability

• arxiv url: http://arxiv.org/abs/2112.09054v1
• Date: Thu, 16 Dec 2021 17:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 17:20:37.940507
• Title: Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability
• Title（参考訳）: 自然言語満足度による変圧器の規則推論限界の押し上げ
• Authors: Kyle Richardson and Ashish Sabharwal
• Abstract要約: 本稿では,アルゴリズム推論データセットを作成するための新しい手法を提案する。 鍵となる考え方は、ハードプロポーズSAT問題の経験的なサンプリングや、言語に関する複雑性理論的な研究から洞察を得ることである。 十分なトレーニングデータを得た現在のトランスフォーマーは、結果のNLSat問題を解決するのに驚くほど堅牢であることがわかった。
• 参考スコア（独自算出の注目度）: 30.01308882849197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Investigating the reasoning abilities of transformer models, and discovering new challenging tasks for them, has been a topic of much interest. Recent studies have found these models to be surprisingly strong at performing deductive reasoning over formal logical theories expressed in natural language. A shortcoming of these studies, however, is that they do not take into account that logical theories, when sampled uniformly at random, do not necessarily lead to hard instances. We propose a new methodology for creating challenging algorithmic reasoning datasets that focus on natural language satisfiability (NLSat) problems. The key idea is to draw insights from empirical sampling of hard propositional SAT problems and from complexity-theoretic studies of language. This methodology allows us to distinguish easy from hard instances, and to systematically increase the complexity of existing reasoning benchmarks such as RuleTaker. We find that current transformers, given sufficient training data, are surprisingly robust at solving the resulting NLSat problems of substantially increased difficulty. They also exhibit some degree of scale-invariance - the ability to generalize to problems of larger size and scope. Our results, however, reveal important limitations too: a careful sampling of training data is crucial for building models that generalize to larger problems, and transformer models' limited scale-invariance suggests they are far from learning robust deductive reasoning algorithms.
• Abstract（参考訳）: トランスフォーマーモデルの推論能力を調べ、それらのための新しい挑戦的なタスクを発見することは、非常に興味深いトピックです。 近年の研究では、これらのモデルが自然言語で表現された形式的論理理論よりも推論を行うのに驚くほど強いことが示されている。 しかし、これらの研究の欠点は、一意にランダムにサンプリングされた場合、必ずしもハードインスタンスに繋がらないという論理理論を考慮していないことである。 自然言語満足度(nlsat)問題に焦点を当てたアルゴリズム推論データセットを作成するための新しい手法を提案する。 重要なアイデアは、ハードプロポーザルsat問題の実証的なサンプリングと、言語の複雑性理論的な研究から洞察を引き出すことである。 この方法論により、ハードインスタンスと簡単に区別でき、 ruletakerのような既存の推論ベンチマークの複雑さを体系的に増やすことができます。 十分なトレーニングデータを得た現在のトランスフォーマーは、結果として生じるnlsat問題を解決するのに驚くほど頑健である。 それらはまた、ある程度のスケール不変性、すなわち、より大きなサイズとスコープの問題に一般化する能力を示す。 トレーニングデータの慎重なサンプリングは、より大きな問題に一般化するモデルを構築する上で不可欠であり、トランスフォーマーモデルの限定的なスケール不変性は、堅牢な推論推論アルゴリズムを学ぶには程遠いことを示唆している。

関連論文リスト

• Neuro-symbolic Training for Reasoning over Spatial Language [17.901249830817882]
  本稿では,推論の論理的ルールを制約として活用できる,ニューロシンボリックな手法による学習言語モデルを提案する。 テキストによる空間的推論という課題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-06-19T20:47:36Z)
• Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
  利用可能な最大規模でトレーニングされた最先端モデルの機能と推論能力の劇的な破壊を実演する。 モデルは、問題の解決に影響を与えない、微妙な問題バリエーションでさえも強い変動を示すため、その分解は劇的である。 これらの初期観測は、現在世代の大言語モデルが主張する能力の再評価を急激に促すものである。
  論文  参考訳（メタデータ） (2024-06-04T07:43:33Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Evaluating Transformer's Ability to Learn Mildly Context-Sensitive Languages [6.227678387562755]
  近年の研究では、非正規言語や文脈自由言語でさえ、自己意識は理論的に学習に限られていることが示唆されている。 様々な複雑さの文脈に敏感な言語を学習するトランスフォーマーの能力をテストする。 分析の結果,学習した自己注意パターンと表現が依存性関係をモデル化し,計数行動を示した。
  論文  参考訳（メタデータ） (2023-09-02T08:17:29Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Can Transformers Reason in Fragments of Natural Language? [2.1485350418225244]
  自然言語処理(NLP)に対する最先端のディープラーニングベースのアプローチは、自然言語テキストによる推論を含むさまざまな能力で評価されている。 本研究では, 満足度の問題がますます複雑化する自然言語の制御断片における, 公式な有効推論の検出について検討する。
  論文  参考訳（メタデータ） (2022-11-10T08:46:53Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。