論文の概要: Case-Based or Rule-Based: How Do Transformers Do the Math?

• arxiv url: http://arxiv.org/abs/2402.17709v2
• Date: Wed, 26 Jun 2024 09:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 18:55:03.179288
• Title: Case-Based or Rule-Based: How Do Transformers Do the Math?
• Title（参考訳）: ケースベースかルールベースか:トランスフォーマーはどのように数学をするか?
• Authors: Yi Hu, Xiaojuan Tang, Haotong Yang, Muhan Zhang,
• Abstract要約: 変圧器はルールベースかケースベースの推論を数学問題に用いているかを検討する。 入力に明示的なルールを提供し、次にトランスフォーマーに、ルールを段階的に引用し、従うように指示します。 この大幅な改善は、LLMにルールを明示的に使用するように教えることが、ルールベースの推論を学習し、長さを一般化するのに役立つことを示している。
• 参考スコア（独自算出の注目度）: 24.17722967327729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive performance in a variety of complex tasks, modern large language models (LLMs) still have trouble dealing with some math problems that are simple and intuitive for humans, such as addition. While we can easily learn basic rules of addition and apply them to new problems of any length, LLMs struggle to do the same. Instead, they may rely on similar cases seen in the training corpus for help. We define these two different reasoning mechanisms as "rule-based reasoning" and "case-based reasoning". Since rule-based reasoning is essential for acquiring systematic generalization ability, we aim to explore exactly whether transformers use rule-based or case-based reasoning for math problems. Through carefully designed intervention experiments on five math tasks, we confirm that transformers are performing case-based reasoning, no matter whether scratchpad is used, which aligns with the previous observations that transformers use subgraph matching/shortcut learning to reason. To mitigate such problems, we propose a Rule-Following Fine-Tuning (RFFT) technique to teach transformers to perform rule-based reasoning. Specifically, we provide explicit rules in the input and then instruct transformers to recite and follow the rules step by step. Through RFFT, we successfully enable LLMs fine-tuned on 1-5 digit addition to generalize to up to 12-digit addition with over 95% accuracy, which is over 40% higher than scratchpad. The significant improvement demonstrates that teaching LLMs to use rules explicitly helps them learn rule-based reasoning and generalize better in length.
• Abstract（参考訳）: 様々な複雑なタスクにおける印象的なパフォーマンスにもかかわらず、現代の大規模言語モデル(LLM)は、追加など人間にとって単純で直感的な問題を扱うのに未だに苦労している。 加算の基本ルールを簡単に学習し、任意の長さの新たな問題に適用することはできるが、LLMはそれを行うのに苦労する。 代わりに、彼らは支援のためにトレーニングコーパスで見られる同様のケースに頼っているかもしれない。 これら2つの異なる推論機構を「ルールベースの推論」と「ケースベースの推論」と定義する。 ルールベースの推論は、体系的な一般化能力の獲得に不可欠であるため、トランスフォーマーがルールベースかケースベースの推論を数学問題に用いているかを正確に検討することを目的としている。 5つの数学タスクの介入実験を慎重に設計し、スクラッチパッドが使われているかどうかに関わらず、トランスフォーマーがケースベースの推論を行っていることを確認した。 このような問題を緩和するため,ルールベースの推論を行うためにトランスフォーマーにRFFT(ルール追従ファインタニング)技術を提案する。 具体的には、入力に明示的なルールを提供し、次にトランスフォーマーに対して、ルールを段階的に参照し、従うように指示する。 RFFTにより、1-5桁の加算に微調整を施し、95%以上の精度で最大12桁の加算を一般化することに成功した。 この大幅な改善は、LLMにルールを明示的に使用するように教えることが、ルールベースの推論を学習し、長さを一般化するのに役立つことを示している。

関連論文リスト

• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Large Language Models can Learn Rules [106.40747309894236]
  大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 リレーショナル推論、数値推論、概念学習に関する実験は、HtTが既存のプロンプト法を改善することを示す。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
  論文  参考訳（メタデータ） (2023-10-10T23:07:01Z)
• Learning Reliable Logical Rules with SATNet [7.951021955925275]
  我々は、入力出力の例から基礎となるルールを学習する差別化可能なMaxSATソルバSATNetの上に構築する。 基礎的真理規則に対して有効な検証手法をいくつか導入する。 ストリームトランスフォーメーションとスドク問題に関する実験は、デコードされたルールが信頼性が高いことを示している。
  論文  参考訳（メタデータ） (2023-10-03T15:14:28Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)
• Automating Defeasible Reasoning in Law [0.0]
  ルールベースのシステム、特に法的な規範と契約について、デファシブルな推論について研究する。 我々は、ルールがどのように相互作用し、どのようにオーバーライドされるかを指定するルール修飾子を識別する。 次に、これらの修飾子を排除した規則変換を定義し、規則を公式に翻訳する。
  論文  参考訳（メタデータ） (2022-05-15T17:14:15Z)
• RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs [91.71504177786792]
  本稿では知識グラフに基づく推論のための論理規則の学習について研究する。 論理規則は、予測に使用されるときに解釈可能な説明を提供するとともに、他のタスクに一般化することができる。 既存の手法は、検索スペースの検索の問題や、スパース報酬による非効率な最適化に悩まされている。
  論文  参考訳（メタデータ） (2020-10-08T14:47:02Z)
• Transformers as Soft Reasoners over Language [33.291806251021185]
  本稿では,事実と規則を自然言語文として提供し,形式表現をバイパスする問題について検討する。 我々は、合成されたデータを用いて、これらの文に対する推論(または推論)をエミュレートするようにトランスフォーマーを訓練する。 RuleTakersと呼ばれる私たちのモデルは、この種の言語に対するソフトな推論が学習可能であるという、最初の実証的なデモンストレーションを提供します。
  論文  参考訳（メタデータ） (2020-02-14T04:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。