論文の概要: Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers

• arxiv url: http://arxiv.org/abs/2210.11265v1
• Date: Thu, 20 Oct 2022 13:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 14:32:34.948979
• Title: Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
• Title（参考訳）: 合成推論変換器を用いた言語モデルからの推論能力の分離
• Authors: Wanjun Zhong, Tingting Ma, Jiahai Wang, Jian Yin, Tiejun Zhao, Chin-Yew Lin and Nan Duan
• Abstract要約: ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。 表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
• 参考スコア（独自算出の注目度）: 72.04044221898059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents ReasonFormer, a unified reasoning framework for mirroring the modular and compositional reasoning process of humans in complex decision making. Inspired by dual-process theory in cognitive science, the representation module (automatic thinking) and reasoning modules (controlled thinking) are disentangled to capture different levels of cognition. Upon the top of the representation module, the pre-trained reasoning modules are modular and expertise in specific and fundamental reasoning skills (e.g., logic, simple QA, etc). To mimic the controlled compositional thinking process, different reasoning modules are dynamically activated and composed in both parallel and cascaded manners to control what reasoning skills are activated and how deep the reasoning process will be reached to solve the current problems. The unified reasoning framework solves multiple tasks with a single model,and is trained and inferred in an end-to-end manner. Evaluated on 11 datasets requiring different reasoning skills and complexity, ReasonFormer demonstrates substantial performance boosts, revealing the compositional reasoning ability. Few-shot experiments exhibit better generalization ability by learning to compose pre-trained skills for new tasks with limited data,and decoupling the representation module and the reasoning modules. Further analysis shows the modularity of reasoning modules as different tasks activate distinct reasoning skills at different reasoning depths.
• Abstract（参考訳）: 本稿では、複雑な意思決定において、人間のモジュール的および構成的推論プロセスを反映する統一的推論フレームワークであるReasonFormerを提案する。 認知科学における二重プロセス理論にインスパイアされた表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 表現モジュールの最上部では、事前訓練された推論モジュールはモジュールであり、特定の推論スキル(ロジック、単純なQAなど)の専門知識を持つ。 制御された構成思考過程を模倣するために、異なる推論モジュールを動的に活性化し、並列およびカスケードの両方で構成し、どの推論スキルが活性化されているか、そして現在の問題を解決するための推論プロセスの深さを制御する。 統一推論フレームワークは、複数のタスクを単一のモデルで解決し、エンドツーエンドでトレーニングおよび推論される。 異なる推論スキルと複雑さを必要とする11のデータセットで評価されたreasonformerは、かなりのパフォーマンス向上を示し、構成的推論能力を明らかにする。 限られたデータで新しいタスクに事前訓練されたスキルを組み立て、表現モジュールと推論モジュールを分離することで、より高度な一般化能力を示す実験は少ない。 さらに分析した結果、異なるタスクが異なる推論深さで異なる推論スキルを活性化させるため、推論モジュールのモジュラリティが示される。

関連論文リスト

• Boosting Deductive Reasoning with Step Signals In RLHF [15.441793744822457]
  我々は,帰納的推論データのためのMulti-step Deduction (MuseD) という自動手法を開発した。 MuseDは、マルチステップ推論のためのトレーニングとテストデータセットの作成を可能にしました。 トレーニングデータでは、ドメイン内推論タスクのいずれにおいても、論理的能力が大幅に向上した。
  論文  参考訳（メタデータ） (2024-10-12T13:19:11Z)
• How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
  特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。 実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models [28.712359821231182]
  大規模言語モデル(LLM)は、思考の連鎖(CoT)を利用して人間の思考を模倣することによって、言語モダリティの多段階的推論において顕著な進歩を遂げた。 これらの進歩をマルチモーダルな文脈に移すことは、労働集約的アノテーションの非現実的な必要性に限らず、より高い課題をもたらす。 本研究では,複数モーダリティを推論に組み込んだDDCoTプロンプトを提案する。
  論文  参考訳（メタデータ） (2023-10-25T08:03:10Z)
• Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation [29.16040150962427]
  ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
  論文  参考訳（メタデータ） (2023-09-14T11:40:30Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Teaching Neural Module Networks to Do Arithmetic [54.06832128723388]
  インタプリタと複雑な問題の間のギャップを埋めることで、NMNをアップグレードする。 数値的推論を行う加法加法および減算加法を導入する。 DROPのサブセットでは,提案手法によりNMNの数値推論能力が17.7%向上した。
  論文  参考訳（メタデータ） (2022-10-06T06:38:04Z)
• Prediction or Comparison: Toward Interpretable Qualitative Reasoning [16.02199526395448]
  現在のアプローチでは、セマンティクスを使用して自然言語入力を論理式に変換するか、あるいは1ステップで解決する"ブラックボックス"モデルを使用する。 本研究では,定性的推論タスクを,予測と比較という2つのタイプに分類する。 特に、2つの推論プロセスをシミュレートするために、エンドツーエンドでトレーニングされたニューラルネットワークモジュールを採用しています。
  論文  参考訳（メタデータ） (2021-06-04T10:27:55Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。