論文の概要: Empirical Investigation of Neural Symbolic Reasoning Strategies
- arxiv url: http://arxiv.org/abs/2302.08148v1
- Date: Thu, 16 Feb 2023 08:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 14:35:47.137627
- Title: Empirical Investigation of Neural Symbolic Reasoning Strategies
- Title(参考訳): ニューラルシンボリック推論戦略の実証的研究
- Authors: Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi
Yoshikawa, Keisuke Sakaguchi and Kentaro Inui
- Abstract要約: 我々は、段階的な粒度と連鎖戦略の推論戦略を分解する。
推論戦略の選択がパフォーマンスに大きく影響していることが分かりました。
驚いたことに、一部の構成がほぼ完璧なパフォーマンスをもたらすこともわかりました。
- 参考スコア(独自算出の注目度): 31.692400722222278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural reasoning accuracy improves when generating intermediate reasoning
steps. However, the source of this improvement is yet unclear. Here, we
investigate and factorize the benefit of generating intermediate steps for
symbolic reasoning. Specifically, we decompose the reasoning strategy w.r.t.
step granularity and chaining strategy. With a purely symbolic numerical
reasoning dataset (e.g., A=1, B=3, C=A+3, C?), we found that the choice of
reasoning strategies significantly affects the performance, with the gap
becoming even larger as the extrapolation length becomes longer. Surprisingly,
we also found that certain configurations lead to nearly perfect performance,
even in the case of length extrapolation. Our results indicate the importance
of further exploring effective strategies for neural reasoning models.
- Abstract(参考訳): 神経推論精度は中間推論ステップを生成する際に向上する。
しかし、この改良のきっかけはまだ不明である。
本稿では,シンボリック推論のための中間ステップ生成の利点を考察し,考察する。
具体的には、推論戦略を段階的粒度と連鎖戦略で分解する。
純粋に象徴的な数値推論データセット(例えば、A=1, B=3, C=A+3, C?)を用いて、推論戦略の選択は、外挿長が長くなるにつれて、そのギャップはさらに大きくなる。
驚いたことに、特定の構成は、長さの補間であってもほぼ完璧なパフォーマンスをもたらすことも分かりました。
この結果から,神経推論モデルにおける効果的な戦略の探求の重要性が示唆された。
関連論文リスト
- Understanding the Reasoning Ability of Language Models From the
Perspective of Reasoning Paths Aggregation [117.32019595678771]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびMWPデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳(メタデータ) (2024-02-05T18:25:51Z) - Divide and Conquer for Large Language Models Reasoning [53.27384085738965]
本稿では,大言語モデルにDivide and Conquer戦略を適用することを提案する。
まず、統計的信頼度スコアに基づいて、質問を異なるサブセットに分割する。
そして、ほぼ解決された集合を修正し、精巧に設計された手法で要求されるニュアンス処理を克服します。
論文 参考訳(メタデータ) (2024-01-10T14:38:46Z) - The Impact of Reasoning Step Length on Large Language Models [42.07147913947077]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。
プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文 参考訳(メタデータ) (2024-01-10T04:37:38Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳(メタデータ) (2023-11-12T05:12:49Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。
この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。
我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
論文 参考訳(メタデータ) (2023-02-20T19:41:15Z) - Mining the Factor Zoo: Estimation of Latent Factor Models with
Sufficient Proxies [29.737081616352913]
我々は2つのアプローチを潜在因子モデル推定にブリッジすることを提案する。
我々は、潜在因子モデルの推定を堅牢で、柔軟で、統計的により正確にする。
ボーナスとして、要素数の増加も認められている。
論文 参考訳(メタデータ) (2022-12-25T03:10:44Z) - Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation [13.887376297334258]
自然言語で表現された多段階推論のための反復型ニューラルネットワークであるIMA-GloVe-GAを紹介する。
本モデルでは,ゲートアテンション機構を備えたRNNに基づく反復型メモリニューラルネットワークを用いて推論を行う。
論文 参考訳(メタデータ) (2022-07-28T10:44:46Z) - Reinforced Causal Explainer for Graph Neural Networks [112.57265240212001]
グラフニューラルネットワーク(GNN)の探索には説明可能性が不可欠である
我々は強化学習エージェントReinforced Causal Explainer (RC-Explainer)を提案する。
RC-Explainerは忠実で簡潔な説明を生成し、グラフを見えなくするより優れたパワーを持つ。
論文 参考訳(メタデータ) (2022-04-23T09:13:25Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳(メタデータ) (2021-06-14T17:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。