論文の概要: LOGICPO: Efficient Translation of NL-based Logical Problems to FOL using LLMs and Preference Optimization

• arxiv url: http://arxiv.org/abs/2506.18383v1
• Date: Mon, 23 Jun 2025 08:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.902941
• Title: LOGICPO: Efficient Translation of NL-based Logical Problems to FOL using LLMs and Preference Optimization
• Title（参考訳）: LOGICPO:LLMを用いたFOLへのNLに基づく論理問題の効率的な翻訳と優先度最適化
• Authors: Koushik Viswanadha, Deepanway Ghosal, Somak Aditya,
• Abstract要約: 本稿では、選好最適化データセットにファインタニングを用いて、自然言語問題全体を一貫した論理プログラムに解析し、表現することを提案する。 Phi-3.5による最良のモデルでは、GPT-3.5-turboよりも10%精度が高く、構文エラーが14%少ない。
• 参考スコア（独自算出の注目度）: 6.173941239083289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical reasoning is a key task for artificial intelligence due to it's role in major downstream tasks such as Question Answering, Summarization. Recent methods in improving the reasoning ability of LLMs fall short in correctly converting a natural language reasoning problem to an equivalent logical formulation, which hinders the framework's overall ability to reason. Towards this, we propose to use finetuning on a preference optimization dataset to learn to parse and represent a natural language problem as a whole to a consistent logical program by 1) introducing a new supervised and preference optimization dataset LogicPO, and 2) adopting popular techniques such as Direct Preference Optimization (DPO), Kahneman-Tversky optimization (KTO) to finetune open-source LLMs. Our best model with Phi-3.5 consistently outperforms GPT-3.5-turbo's (8-shot) by producing 10% more logically correct and with 14% less syntax errors. Through the framework and our improved evaluation metrics, we offer a promising direction in improving the logical reasoning of LLMs by better representing them in their logical formulations.
• Abstract（参考訳）: 論理的推論は、質問回答、要約など、主要な下流タスクにおいて、人工知能が果たす役割から、重要なタスクである。 LLMの推論能力を改善する最近の手法は、自然言語推論問題を等価な論理的定式化に正しく変換するに足りず、フレームワーク全体の推論能力を妨げている。 そこで我々は、選好最適化データセットにファインタニングを用いて、自然言語問題全体を一貫した論理プログラムに解析し、表現することを提案する。 1)新しい教師付き選好最適化データセットLogicPOを導入し、 2) 直接選好最適化 (DPO) やKTO (Kahneman-Tversky Optimization) など,オープンソース LLM を微調整する一般的な手法を採用する。 Phi-3.5の最良のモデルは、GPT-3.5-turbo(8ショット)よりも10%精度が高く、構文エラーも14%少ない。 このフレームワークと改善された評価指標を通じて、我々はLLMの論理的推論を論理的定式化においてより良く表現することで改善する有望な方向性を提供する。

関連論文リスト

• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• OptimAI: Optimization from Natural Language Using LLM-Powered AI Agents [8.441638148384389]
  自然言語で記述された最適化問題を解くためのフレームワークであるOptimAIを紹介する。 私たちのフレームワークは、フォーミュラ、プランナー、コーダ、コード批判といった重要な役割の上に構築されています。 提案手法では,NLP4LPデータセットで88.1%,Optibenchデータセットで82.3%,エラー率で58%,エラー率で52%の精度を実現した。
  論文  参考訳（メタデータ） (2025-04-23T17:45:05Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• Automated Theorem Provers Help Improve Large Language Model Reasoning [0.18416014644193066]
  ニューロシンボリック・アーキテクチャーによっていかに精度が向上できるかを示す。 構文的および意味的エラーカテゴリのフレームワークを定義する。 我々は,構文的および意味的誤りを自動的に修正する機能を備えた手法を拡張した。
  論文  参考訳（メタデータ） (2024-08-07T01:03:56Z)
• LOGIC-LM++: Multi-Step Refinement for Symbolic Formulations [1.024113475677323]
  本稿では Logic-LM++ を改良した Logic-LM++ を提案する。 LLMの機能をペアで比較し、LLMが提案する改善点の評価を可能にする。
  論文  参考訳（メタデータ） (2024-06-22T12:50:41Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。