論文の概要: Learning to Reason With Relational Abstractions

• arxiv url: http://arxiv.org/abs/2210.02615v1
• Date: Thu, 6 Oct 2022 00:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:07:56.747823
• Title: Learning to Reason With Relational Abstractions
• Title（参考訳）: リレーショナル抽象化による推論の学習
• Authors: Andrew J. Nam, Mengye Ren, Chelsea Finn, James L. McClelland
• Abstract要約: 関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 65.89553417442049
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models have recently shown promising progress in mathematical reasoning when fine-tuned with human-generated sequences walking through a sequence of solution steps. However, the solution sequences are not formally structured and the resulting model-generated sequences may not reflect the kind of systematic reasoning we might expect an expert human to produce. In this paper, we study how to build stronger reasoning capability in language models using the idea of relational abstractions. We introduce new types of sequences that more explicitly provide an abstract characterization of the transitions through intermediate solution steps to the goal state. We find that models that are supplied with such sequences as prompts can solve tasks with a significantly higher accuracy, and models that are trained to produce such sequences solve problems better than those that are trained with previously used human-generated sequences and other baselines. Our work thus takes several steps toward elucidating and improving how language models perform on tasks requiring multi-step mathematical reasoning.
• Abstract（参考訳）: 大規模言語モデルは最近、解決ステップのシーケンスを人間が生成したシーケンスで微調整した場合、数学的推論の有望な進歩を示している。 しかし、解列は公式には構造化されておらず、結果として生じるモデル生成シーケンスは、専門家が生成するであろう体系的な推論を反映していないかもしれない。 本稿では,リレーショナル抽象化という概念を用いて,言語モデルにおける推論能力の強化について検討する。 中間解ステップから目標状態への遷移の抽象的な特徴付けをより明確にする新しいタイプのシーケンスを導入する。 提案手法では,プロンプトのようなシーケンスを付与したモデルでは,タスクの精度が大幅に向上し,そのようなシーケンスを生成するためのトレーニングを受けたモデルは,以前使用されていたヒト生成シーケンスや他のベースラインでトレーニングしたモデルよりも優れた問題を解くことができる。 本研究は,多段階の数学的推論を必要とするタスクにおいて,言語モデルがどのように機能するかを解明し,改善するためのいくつかのステップを踏む。

関連論文リスト

• Neuro-symbolic Training for Reasoning over Spatial Language [17.901249830817882]
  本稿では,推論の論理的ルールを制約として活用できる,ニューロシンボリックな手法による学習言語モデルを提案する。 テキストによる空間的推論という課題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-06-19T20:47:36Z)
• Generative Models as a Complex Systems Science: How can we make sense of large language model behavior? [75.79305790453654]
  事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。 言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
  論文  参考訳（メタデータ） (2023-07-31T22:58:41Z)
• A Hybrid System for Systematic Generalization in Simple Arithmetic Problems [70.91780996370326]
  本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。 提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-29T18:35:41Z)
• Opening the Black Box: Analyzing Attention Weights and Hidden States in Pre-trained Language Models for Non-language Tasks [0.8889304968879164]
  階層構造を持つ制約付き算術問題に対して,事前学習した言語モデルを適用し,その注意重みと隠れ状態を分析する。 この調査は、人間の問題解決戦略と同様に、階層的な問題を適度に構造化した方法で解決するモデルによって、有望な結果を明らかにしている。 注意分析により、モデルがListOpsデータセットの長いシーケンスに一般化できると仮定できる。
  論文  参考訳（メタデータ） (2023-06-21T11:48:07Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
  テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。 これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。 我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
  論文  参考訳（メタデータ） (2022-11-29T18:52:06Z)
• Faithful Reasoning Using Large Language Models [12.132449274592668]
  因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。 我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。 我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:44:41Z)
• Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction [10.721488421356053]
  数学用語の問題を解くには、テキストの量に対する演能的な推論が必要である。 近年の研究は、式を生成するためのシーケンス・ツー・シークエンスまたはシーケンス・トゥ・ツリーモデルに大きく依存している。 本稿では,目的表現を反復的に構築するための説明可能な推論ステップを提案する。
  論文  参考訳（メタデータ） (2022-03-19T12:37:16Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。