論文の概要: Empirical Investigation of Neural Symbolic Reasoning Strategies

• arxiv url: http://arxiv.org/abs/2302.08148v1
• Date: Thu, 16 Feb 2023 08:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 14:35:47.137627
• Title: Empirical Investigation of Neural Symbolic Reasoning Strategies
• Title（参考訳）: ニューラルシンボリック推論戦略の実証的研究
• Authors: Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui
• Abstract要約: 我々は、段階的な粒度と連鎖戦略の推論戦略を分解する。 推論戦略の選択がパフォーマンスに大きく影響していることが分かりました。 驚いたことに、一部の構成がほぼ完璧なパフォーマンスをもたらすこともわかりました。
• 参考スコア（独自算出の注目度）: 31.692400722222278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural reasoning accuracy improves when generating intermediate reasoning steps. However, the source of this improvement is yet unclear. Here, we investigate and factorize the benefit of generating intermediate steps for symbolic reasoning. Specifically, we decompose the reasoning strategy w.r.t. step granularity and chaining strategy. With a purely symbolic numerical reasoning dataset (e.g., A=1, B=3, C=A+3, C?), we found that the choice of reasoning strategies significantly affects the performance, with the gap becoming even larger as the extrapolation length becomes longer. Surprisingly, we also found that certain configurations lead to nearly perfect performance, even in the case of length extrapolation. Our results indicate the importance of further exploring effective strategies for neural reasoning models.
• Abstract（参考訳）: 神経推論精度は中間推論ステップを生成する際に向上する。 しかし、この改良のきっかけはまだ不明である。 本稿では,シンボリック推論のための中間ステップ生成の利点を考察し,考察する。 具体的には、推論戦略を段階的粒度と連鎖戦略で分解する。 純粋に象徴的な数値推論データセット(例えば、A=1, B=3, C=A+3, C?)を用いて、推論戦略の選択は、外挿長が長くなるにつれて、そのギャップはさらに大きくなる。 驚いたことに、特定の構成は、長さの補間であってもほぼ完璧なパフォーマンスをもたらすことも分かりました。 この結果から,神経推論モデルにおける効果的な戦略の探求の重要性が示唆された。

関連論文リスト

• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains [97.25943550933829]
  P-FOLIO(P-FOLIO)は、多種多様で複雑な推論連鎖からなる人称注釈付きデータセットである。 我々はP-FOLIOを用いて大規模言語モデル推論機能の評価と改善を行う。
  論文  参考訳（メタデータ） (2024-10-11T19:22:57Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [10.421832675327712]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
  我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。 この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。 我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
  論文  参考訳（メタデータ） (2023-02-20T19:41:15Z)
• Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation [13.887376297334258]
  自然言語で表現された多段階推論のための反復型ニューラルネットワークであるIMA-GloVe-GAを紹介する。 本モデルでは,RNNに基づく反復型メモリニューラルネットワークを用いて推論を行う。
  論文  参考訳（メタデータ） (2022-07-28T10:44:46Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。