論文の概要: HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning

• arxiv url: http://arxiv.org/abs/2409.19381v4
• Date: Mon, 24 Feb 2025 18:28:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:25.204382
• Title: HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning
• Title（参考訳）: HYBRIDMIND:LLM推論のための自然言語と記号言語のメタ選択
• Authors: Simeng Han, Tianyu Liu, Chuhan Li, Xuyuan Xiong, Arman Cohan,
• Abstract要約: 本稿では,各推論問題に対して最適な推論手法を選択する適応戦略であるHYBRIDMINDを紹介する。 メタセレクタとしての微調整 LLaMA-3.1-8B-Instruct は GPT-4o の自然言語推論より優れている。
• 参考スコア（独自算出の注目度）: 25.192089674713365
• License:
• Abstract: LLMs approach logical and mathematical reasoning through natural or symbolic languages. While natural language offers human-accessible flexibility but suffers from ambiguity, symbolic reasoning provides precise, machine-executable inferences at the cost of strict domain constraints. We introduce HYBRIDMIND, an adaptive strategy that selects the optimal reasoning approach for each reasoning problem. Through extensive experiments, we evaluate both prompting-based approaches with state-of-the-art LLMs and fine-tuned open-source models. We find that fine-tuning LLaMA-3.1-8B-Instruct as a meta-selector outperforms GPT-4o's natural language reasoning by 4.4\% on FOLIO and 1.3\% on MATH. More notably, using GPT-3.5-turbo as a prompted meta-selector yields a 10\% improvement on FOLIO's challenging subset compared to GPT-4o. We will release our code and data to support future research.
• Abstract（参考訳）: LLMは自然言語や記号言語を通して論理的および数学的推論にアプローチする。 自然言語は人間のアクセス可能な柔軟性を提供するがあいまいさに悩まされるが、シンボリック推論は厳密なドメイン制約を犠牲にして正確でマシン実行可能な推論を提供する。 本稿では,各推論問題に対して最適な推論手法を選択する適応戦略であるHYBRIDMINDを紹介する。 大規模な実験を通じて、最先端のLCMと微調整されたオープンソースモデルによるプロンプトベースアプローチの評価を行った。 メタセレクタとしての微調整LLaMA-3.1-8B-インストラクタは,FOLIOでは4.4 %,MATHでは1.3 %,GPT-4o の自然言語推論では4.4 %,MATHでは1.3 %に優れていた。 さらに、メタセレクタとしてGPT-3.5-turboを使用すると、GPT-4oと比較してFOLIOの挑戦的なサブセットが10倍改善される。 今後の研究を支援するため、コードとデータを公開します。

関連論文リスト

• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Leveraging Large Language Models to Generate Answer Set Programs [5.532477732693001]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示した。 本稿では,大規模言語モデルの強みと解集合プログラミングを組み合わせたニューロシンボリック手法を提案する。
  論文  参考訳（メタデータ） (2023-07-15T03:40:55Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。