論文の概要: Limitations of Language Models in Arithmetic and Symbolic Induction

• arxiv url: http://arxiv.org/abs/2208.05051v1
• Date: Tue, 9 Aug 2022 21:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 12:48:37.584025
• Title: Limitations of Language Models in Arithmetic and Symbolic Induction
• Title（参考訳）: 算術と記号的帰納法における言語モデルの限界
• Authors: Jing Qian, Hong Wang, Zekun Li, Shiyang Li, Xifeng Yan
• Abstract要約: 大規模な事前訓練された言語モデル(LM)は、自然言語処理(NLP)タスクで非常によく機能する。 これらのモデルには、コピー、リバース、追加といった特定の基本的な記号操作タスクに制限があることがわかった。 この現象の背後にある潜在的な原因について検討し、明示的な位置マーカー、きめ細かい計算ステップ、呼び出し可能なプログラムを持つLMなどを含む一連の手法について検討する。
• 参考スコア（独自算出の注目度）: 20.49118435604774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that large pretrained Language Models (LMs) can not only perform remarkably well on a range of Natural Language Processing (NLP) tasks but also start improving on reasoning tasks such as arithmetic induction, symbolic manipulation, and commonsense reasoning with increasing size of models. However, it is still unclear what the underlying capabilities of these LMs are. Surprisingly, we find that these models have limitations on certain basic symbolic manipulation tasks such as copy, reverse, and addition. When the total number of symbols or repeating symbols increases, the model performance drops quickly. We investigate the potential causes behind this phenomenon and examine a set of possible methods, including explicit positional markers, fine-grained computation steps, and LMs with callable programs. Experimental results show that none of these techniques can solve the simplest addition induction problem completely. In the end, we introduce LMs with tutor, which demonstrates every single step of teaching. LMs with tutor is able to deliver 100% accuracy in situations of OOD and repeating symbols, shedding new insights on the boundary of large LMs in induction.
• Abstract（参考訳）: 近年の研究では、大規模事前学習型言語モデル(LM)が自然言語処理(NLP)タスクにおいて顕著に機能するだけでなく、算術的帰納、記号操作、コモンセンス推論といった推論タスクの改善も開始している。 しかし、これらのlmsの基本的な機能についてはまだ不明である。 驚いたことに、これらのモデルにはコピー、リバース、追加といった特定の記号操作タスクに制限がある。 シンボルの総数や繰り返しシンボルが増加すると、モデルの性能は急速に低下する。 この現象の背後にある潜在的な原因を調査し、明確な位置マーカー、きめ細かい計算ステップ、呼び出し可能なプログラムによるlmsなどを含む一連の可能な方法について検討する。 実験結果から,これらの手法はいずれも最も単純な加算誘導問題を完全に解決できないことがわかった。 最後に,教師を伴ってLMを導入し,授業のすべてのステップを実演する。 チューター付きLMは、OODの状況やシンボルの繰り返しにおいて100%の精度を提供することができ、誘導における大きなLMの境界に関する新たな洞察を隠蔽する。

関連論文リスト

• Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [3.181878085746691]
  大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。 本稿では,emphCommutativity やemphIdentity などの代数的構造を捉えることによって,LLM が算術を学習することを提案する。 この結果から,代数的構造を活用することでLLMの算術的能力が向上し,算術的性能向上への洞察が得られた。
  論文  参考訳（メタデータ） (2024-11-25T10:23:11Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Frugal LMs Trained to Invoke Symbolic Solvers Achieve Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
  大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。 算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T13:20:49Z)
• Learning Multi-Step Reasoning by Solving Arithmetic Tasks [6.398022050054328]
  本研究では,比較的小さな言語モデルを多段階推論の能力に組み込む方法について検討する。 我々は,合成データセットMsAT上でLMを継続的に事前学習することにより,そのような能力を注入することを提案する。 提案手法の有効性を示す4つの数学単語問題データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-06-02T17:29:22Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。