論文の概要: Stratified Consistency Distillation for Natural Language Formalization

• arxiv url: http://arxiv.org/abs/2608.30258v1
• Date: Mon, 31 Aug 2026 05:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.24121
• Title: Stratified Consistency Distillation for Natural Language Formalization
• Title（参考訳）: 自然言語形式化のための成層共分散蒸留法
• Authors: Zhichao Hou, Ferhat Erata, Joe Lilien, MohamadAli Torkamani,
• Abstract要約: そこで我々は,論理翻訳の精度を向上させるために,微調整に基づくStratified Consistency Distillation手法を提案する。 実験の結果,Pass@KとEquivalent Logical similarityの両指標で有意かつ一貫した改善が得られた。
• 参考スコア（独自算出の注目度）: 8.652179594076536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neurosymbolic reasoning has shown promising success in addressing complex reasoning tasks by combining large language models (LLMs) and symbolic solvers. While this approach shows promise, a fundamental challenge remains: improving the accuracy of translations from natural language to logical formulas. Current methods predominantly rely on prompt engineering, which is difficult to scale across different domains and input formats. Drawing inspiration from the success of fine-tuning in other model adaptation and alignment applications, we propose a fine-tuning-based Stratified Consistency Distillation approach: (1) We generate K logical translations per input using a frontier LLM and cluster them by semantic equivalence (2) Based on the entropy level, we apply majority voting (low entropy), LLM-as-a-Judge (medium entropy), or unification/abstention (high entropy), and (3) fine-tune a smaller model using the selected pseudo-labels. Our experiments show significant and consistent improvements in both Pass@K and our novel Equivalent Logical Similarity metrics, demonstrating the potential of advancing logical translation through consistency distillation.
• Abstract（参考訳）: ニューロシンボリック推論は、大きな言語モデル(LLM)とシンボリック・ソルバを組み合わせることで、複雑な推論タスクに取り組む上で有望な成功を示している。 このアプローチは将来性を示しているが、基本的な課題は、自然言語から論理式への翻訳の精度を改善することである。 現在の手法は主にプロンプトエンジニアリングに依存しており、異なるドメインや入力形式にまたがるスケールが難しい。 モデル適応およびアライメントアプリケーションにおけるファインチューニングの成功からインスピレーションを得て,(1)フロンティア LLM を用いて入力毎に K 論理変換を生成し,セマンティック等価性によりクラスタ化する(2) エントロピーレベルに基づいて,多数決 (低エントロピー), LLM-as-a-Judge (中エントロピー), あるいは統一/保持 (高エントロピー), (3) 選択した擬ラベルを用いてより小さなモデルを微調整する。 実験の結果,Pass@KとEquivalent Logical similarityの両指標で有意かつ一貫した改善がみられ,一貫した蒸留による論理翻訳の進展の可能性を示した。

関連論文リスト

• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
  本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。 本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。 GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
  論文  参考訳（メタデータ） (2026-01-27T20:59:11Z)
• UltraLogic: Enhancing LLM Reasoning through Large-Scale Data Synthesis and Bipolar Float Reward [12.686812126754404]
  本稿では,問題の論理的核を自然言語表現から切り離す枠組みであるUltraLogicを提案する。 このフレームワークは、数百のユニークなタスクタイプと、10の難易度にまたがる自動キャリブレーションパイプラインで構成されている。
  論文  参考訳（メタデータ） (2026-01-06T17:41:32Z)
• Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models [57.42778606399764]
  拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。 現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。 これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
  論文  参考訳（メタデータ） (2025-10-02T00:34:15Z)
• Learning to Reason via Mixture-of-Thought for Logical Reasoning [56.24256916896427]
  Mixture-of-Thought (MoT) は、LLMが自然言語、コード、真理表の3つの相補的なモダリティにまたがる推論を可能にするフレームワークである。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。
  論文  参考訳（メタデータ） (2025-05-21T17:59:54Z)
• Autoformalize Mathematical Statements by Symbolic Equivalence and Semantic Consistency [22.86318578119266]
  そこで我々は,記号的同値性と意味的整合性に基づいて,k個の自己形式化候補から最良の結果をスコアし,選択する新しいフレームワークを提案する。 MATHおよびminiF2Fデータセットに対する実験により,本手法は自己形式化精度を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-28T11:37:39Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。