論文の概要: Fine-Tuned Large Language Models for Logical Translation: Reducing Hallucinations with Lang2Logic
- arxiv url: http://arxiv.org/abs/2512.02987v1
- Date: Tue, 02 Dec 2025 18:03:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.997682
- Title: Fine-Tuned Large Language Models for Logical Translation: Reducing Hallucinations with Lang2Logic
- Title(参考訳): 論理翻訳のための微調整大言語モデル:Lang2Logicによる幻覚の低減
- Authors: Muyu Pan, Dheeraj Kodakandla, Mahfuza Farooque,
- Abstract要約: この研究は、英語の文を入力し、それらを論理的表現に変換し、それを整合正規形(Conjunctive Normal Form, CNF)に変換する新しい枠組みを導入する。
幻覚を減らすために、自己定義文法、シンボリックライブラリ、微調整言語モデルを備えた古典的NLP技術を採用している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in natural language processing (NLP), particularly large language models (LLMs), have motivated the automatic translation of natural language statements into formal logic without human intervention. This enables automated reasoning and facilitates debugging, finding loop invariants, and adhering to specifications in software systems. However, hallucinations-incorrect outputs generated by LLMs are challenging, particularly for logical translation tasks requiring precision. This work introduces a novel framework that inputs English sentences, converts them into logical expressions, and then translates them into Conjunctive Normal Form (CNF) for satisfiability solving. It employs classical NLP techniques with self-defined grammar, symbolic computation libraries, and a fine-tuned language model to reduce hallucinations. In the early experiments, we observed that the fine-tuned model, trained on different grammar settings, could intentionally correct the same types of hallucinations made by the original model. Thus, it provides reliable CNF generation.
- Abstract(参考訳): 自然言語処理(NLP)の最近の進歩、特に大規模言語モデル(LLM)は、人間の介入なしに自然言語文を形式論理に自動翻訳する動機となっている。
これにより、自動推論が可能となり、デバッグ、ループ不変点の発見、ソフトウェアシステムの仕様への準拠が容易になる。
しかし、特に精度を必要とする論理翻訳タスクでは、LLMが生成する幻覚の不正確な出力は困難である。
この研究は、英語の文を入力し、それらを論理的表現に変換し、それを整合正規形(Conjunctive Normal Form, CNF)に変換する新しい枠組みを導入する。
自己定義文法、記号計算ライブラリ、幻覚を減らすための微調整言語モデルを備えた古典的NLP技術を採用している。
初期の実験では、異なる文法設定で訓練された微調整モデルが、本来のモデルと同じ種類の幻覚を意図的に補正できることがわかった。
したがって、信頼性の高いCNF生成を提供する。
関連論文リスト
- Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents [3.5083201638203154]
Logic-Enhanced Language Model Agents (LELMA) は、大きな言語モデルと形式論理を統合するフレームワークである。
LeLMAは自動形式化を用いて推論を論理表現に変換し、論理的妥当性を評価する。
LeLMAはエラー検出の精度が高く,自己修正による推論精度の向上を実現している。
論文 参考訳(メタデータ) (2024-08-28T18:25:35Z) - Scaling Synthetic Logical Reasoning Datasets with Context-Sensitive Declarative Grammars [0.6537995248511139]
複数の言語を結合するフレキシブルなコンテキスト依存ルールを持つ宣言型フレームワークを提案する。
最大32の前提と1つの仮説を選択して一階述語論理問題を構築する。
生成中の意味的制約と述語に対する注意深い英語の動詞化は、自然な英語のタスクを損なうことなく論理的推論を促進することを実証する。
論文 参考訳(メタデータ) (2024-06-16T18:10:49Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - Planning with Logical Graph-based Language Model for Instruction Generation [9.70880913062245]
本稿では,論理を言語モデルに注入するグラフベースの言語モデルであるLogical-GLMを提案する。
言語モデルトレーニングのガイドとして論理スケルトンを生成し,言語モデルにドメイン知識を注入する。
我々のアプローチは、内部化されたドメイン知識により、より正確な論理で命令文を生成することができる。
論文 参考訳(メタデータ) (2023-08-26T06:28:14Z) - Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。
ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。
その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
論文 参考訳(メタデータ) (2023-06-01T17:44:35Z) - Reducing Hallucinations in Neural Machine Translation with Feature
Attribution [54.46113444757899]
本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。
まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。
次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
論文 参考訳(メタデータ) (2022-11-17T20:33:56Z) - The Whole Truth and Nothing But the Truth: Faithful and Controllable
Dialogue Response Generation with Dataflow Transduction and Constrained
Decoding [65.34601470417967]
本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。
本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
論文 参考訳(メタデータ) (2022-09-16T09:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。