Fugu-MT 論文翻訳(概要): Empirical Investigation of Neural Symbolic Reasoning Strategies

論文の概要: Empirical Investigation of Neural Symbolic Reasoning Strategies

arxiv url: http://arxiv.org/abs/2302.08148v1
Date: Thu, 16 Feb 2023 08:49:47 GMT
ステータス: 翻訳完了
システム内更新日: 2023-02-17 14:35:47.137627
Title: Empirical Investigation of Neural Symbolic Reasoning Strategies
Title（参考訳）: ニューラルシンボリック推論戦略の実証的研究
Authors: Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui
Abstract要約: 我々は、段階的な粒度と連鎖戦略の推論戦略を分解する。推論戦略の選択がパフォーマンスに大きく影響していることが分かりました。驚いたことに、一部の構成がほぼ完璧なパフォーマンスをもたらすこともわかりました。
参考スコア（独自算出の注目度）: 31.692400722222278
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural reasoning accuracy improves when generating intermediate reasoning steps. However, the source of this improvement is yet unclear. Here, we investigate and factorize the benefit of generating intermediate steps for symbolic reasoning. Specifically, we decompose the reasoning strategy w.r.t. step granularity and chaining strategy. With a purely symbolic numerical reasoning dataset (e.g., A=1, B=3, C=A+3, C?), we found that the choice of reasoning strategies significantly affects the performance, with the gap becoming even larger as the extrapolation length becomes longer. Surprisingly, we also found that certain configurations lead to nearly perfect performance, even in the case of length extrapolation. Our results indicate the importance of further exploring effective strategies for neural reasoning models.
Abstract（参考訳）: 神経推論精度は中間推論ステップを生成する際に向上する。しかし、この改良のきっかけはまだ不明である。本稿では,シンボリック推論のための中間ステップ生成の利点を考察し,考察する。具体的には、推論戦略を段階的粒度と連鎖戦略で分解する。純粋に象徴的な数値推論データセット(例えば、A=1, B=3, C=A+3, C?)を用いて、推論戦略の選択は、外挿長が長くなるにつれて、そのギャップはさらに大きくなる。驚いたことに、特定の構成は、長さの補間であってもほぼ完璧なパフォーマンスをもたらすことも分かりました。この結果から,神経推論モデルにおける効果的な戦略の探求の重要性が示唆された。

関連論文リスト

Between Underthinking and Overthinking: An Empirical Study of Reasoning Length and correctness in LLMs [52.405085773954596]
大規模な言語モデル(LLM)は、単純な問題を克服し、不要に長いアウトプットを生成し、より難しいものを過小評価する傾向にある。これは、モデルが問題の難しさを誤認し、応答長を適切に調整できないことを示唆している。実験の結果, 許容精度を維持しつつ, 生成時間を大幅に短縮できることがわかった。
論文参考訳（メタデータ） (2025-04-30T18:48:06Z)
AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
適応的で効率的な推論のための新しい2段階のフレームワークを提案する。まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
論文参考訳（メタデータ） (2025-04-30T14:01:45Z)
Do Larger Language Models Imply Better Reasoning? A Pretraining Scaling Law for Reasoning [89.17086632436363]
本研究では,実世界の大規模知識グラフの構造と分布を再現する合成マルチホップ推論環境を提案する。我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。
論文参考訳（メタデータ） (2025-04-04T17:57:22Z)
Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [113.49074603075032]
近年の研究では、モデルをより長い思考の連鎖(CoTs)を通して考える時間を増やすことで、複雑な推論タスクにおいて大幅な改善が得られることが示されている。より長いCoTによるスケーリングが、特定のドメインにおけるLarge Language Model(LLM)の推論性能を損なうかどうかを考察する。
論文参考訳（メタデータ） (2025-02-25T10:48:05Z)
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains [97.25943550933829]
P-FOLIO(P-FOLIO)は、多種多様で複雑な推論連鎖からなる人称注釈付きデータセットである。我々はP-FOLIOを用いて大規模言語モデル推論機能の評価と改善を行う。
論文参考訳（メタデータ） (2024-10-11T19:22:57Z)
Landscape-Aware Growing: The Power of a Little LAG [49.897766925371485]
成長戦略のプールから最適な成長戦略をどのように選択するかという課題について検討する。ランドスケープ・アウェア・グロース(LAG)と呼ぶ早期学習力学に基づく代替視点を提案する。
論文参考訳（メタデータ） (2024-06-04T16:38:57Z)
Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文参考訳（メタデータ） (2024-02-05T18:25:51Z)
The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文参考訳（メタデータ） (2024-01-10T04:37:38Z)
Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文参考訳（メタデータ） (2023-11-12T05:12:49Z)
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文参考訳（メタデータ） (2023-10-23T17:58:40Z)
Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
論文参考訳（メタデータ） (2023-02-20T19:41:15Z)
Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation [13.887376297334258]
自然言語で表現された多段階推論のための反復型ニューラルネットワークであるIMA-GloVe-GAを紹介する。本モデルでは,RNNに基づく反復型メモリニューラルネットワークを用いて推論を行う。
論文参考訳（メタデータ） (2022-07-28T10:44:46Z)
Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文参考訳（メタデータ） (2021-06-14T17:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。