論文の概要: RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.19698v1
• Date: Wed, 22 Oct 2025 15:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.120899
• Title: RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models
• Title（参考訳）: RLIE:ロジスティック回帰によるルール生成、反復的リファインメントおよび大規模言語モデルの評価
• Authors: Yang Yang, Hua XU, Zhangyi Hu, Yutao Yue,
• Abstract要約: 大規模言語モデル(LLM)は、従来のルール学習において事前定義された述語空間の必要性を脇取りして、自然言語でルールを提案することができる。 本稿では,LLMと確率的モデリングを統合し,重み付きルールの集合を学習する統一フレームワークRLIEを提案する。 学習した重みでルールを直接適用すると性能が向上する一方、ルール、重み、ロジスティックモデルの出力は驚くほど精度が低下する。
• 参考スコア（独自算出の注目度）: 13.343944091570386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) can propose rules in natural language, sidestepping the need for a predefined predicate space in traditional rule learning. Yet many LLM-based approaches ignore interactions among rules, and the opportunity to couple LLMs with probabilistic rule learning for robust inference remains underexplored. We present RLIE, a unified framework that integrates LLMs with probabilistic modeling to learn a set of weighted rules. RLIE has four stages: (1) Rule generation, where an LLM proposes and filters candidates; (2) Logistic regression, which learns probabilistic weights for global selection and calibration; (3) Iterative refinement, which updates the rule set using prediction errors; and (4) Evaluation, which compares the weighted rule set as a direct classifier with methods that inject rules into an LLM. We evaluate multiple inference strategies on real-world datasets. Applying rules directly with their learned weights yields superior performance, whereas prompting LLMs with the rules, weights, and logistic-model outputs surprisingly degrades accuracy. This supports the view that LLMs excel at semantic generation and interpretation but are less reliable for precise probabilistic integration. RLIE clarifies the potential and limitations of LLMs for inductive reasoning and couples them with classic probabilistic rule combination methods to enable more reliable neuro-symbolic reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、従来のルール学習において事前定義された述語空間の必要性を脇取りして、自然言語でルールを提案することができる。 しかし、LLMに基づく多くのアプローチはルール間の相互作用を無視し、堅牢な推論のための確率論的ルール学習とLLMを結合する機会は未定である。 本稿では,LLMと確率的モデリングを統合し,重み付きルールの集合を学習する統一フレームワークRLIEを提案する。 RLIE は,(1) LLM が候補を提案・フィルタリングするルール生成,(2) グローバル選択とキャリブレーションの確率的重みを学習するロジスティック回帰,(3) 予測誤差を用いてルールセットを更新する反復改良,(4) 重み付きルールセットを直接分類器として比較し,ルールを LLM に注入する手法と比較する評価の4段階を有する。 実世界のデータセット上で複数の推論戦略を評価する。 学習した重みでルールを直接適用すると性能が向上する一方、ルール、重み、ロジスティックモデルの出力は驚くほど精度が低下する。 このことは、LLMはセマンティック生成と解釈において優れているが、正確な確率積分には信頼性が低いという見解を支持する。 RLIEは、誘導的推論のためのLSMの可能性と限界を明らかにし、より信頼性の高いニューロシンボリック推論を可能にする古典的な確率論的ルールの組み合わせ法と組み合わせる。

関連論文リスト

• Selective LLM-Guided Regularization for Enhancing Recommendation Models [7.406718588794206]
  トレーニング可能なゲーティング機構がユーザ履歴の長さやアイテムの人気,モデルの不確実性によってLCMの信頼性が予測される場合にのみ,LCMに基づくペアワイズランキング管理を活性化する,モデルに依存しない効率的なフレームワークを提案する。 複数のデータセットにまたがる実験により、この選択的戦略は全体的な精度を一貫して改善し、コールドスタートとロングテールレジームにおいてかなりの利益をもたらし、世界的な蒸留ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-12-25T06:30:00Z)
• Learned-Rule-Augmented Large Language Model Evaluators [5.4343364964031124]
  大規模言語モデル(LLM)は、主に自然言語生成(NLG)タスクの評価器として使用される。 本研究は,多種多様なタスクにまたがる汎用評価器としてのLLMの可能性を探るものである。
  論文  参考訳（メタデータ） (2025-12-01T18:08:45Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents [55.64361927346957]
  大規模言語モデル(LLM)による規則の勾配なし学習のためのニューロシンボリックアプローチを提案する。 我々のLLMエージェントWALL-Eはモデル予測制御(MPC)上に構築されている MinecraftとALFWorldにおけるオープンワールドの課題について、WALL-Eは既存の方法よりも高い成功率を達成する。
  論文  参考訳（メタデータ） (2024-10-09T23:37:36Z)
• Beyond Instruction Following: Evaluating Inferential Rule Following of Large Language Models [25.337295202341608]
  大規模言語モデル(LLM)は、安全で正確でインテリジェントな実世界のシナリオによって制御され、ガイドされるはずである。 LLMの推論規則追従能力を評価しようとする従来の研究は、推論規則追従のシナリオと命令追従のシナリオを区別することができない。 本稿では、まず、推論規則追従の概念を明らかにし、推論規則追従能力の多様化範囲を評価するための総合的なベンチマークであるルールベンチを提案する。
  論文  参考訳（メタデータ） (2024-07-11T12:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。