論文の概要: RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.19698v1
• Date: Wed, 22 Oct 2025 15:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.120899
• Title: RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models
• Title（参考訳）: RLIE:ロジスティック回帰によるルール生成、反復的リファインメントおよび大規模言語モデルの評価
• Authors: Yang Yang, Hua XU, Zhangyi Hu, Yutao Yue,
• Abstract要約: 大規模言語モデル(LLM)は、従来のルール学習において事前定義された述語空間の必要性を脇取りして、自然言語でルールを提案することができる。 本稿では,LLMと確率的モデリングを統合し,重み付きルールの集合を学習する統一フレームワークRLIEを提案する。 学習した重みでルールを直接適用すると性能が向上する一方、ルール、重み、ロジスティックモデルの出力は驚くほど精度が低下する。
• 参考スコア（独自算出の注目度）: 13.343944091570386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) can propose rules in natural language, sidestepping the need for a predefined predicate space in traditional rule learning. Yet many LLM-based approaches ignore interactions among rules, and the opportunity to couple LLMs with probabilistic rule learning for robust inference remains underexplored. We present RLIE, a unified framework that integrates LLMs with probabilistic modeling to learn a set of weighted rules. RLIE has four stages: (1) Rule generation, where an LLM proposes and filters candidates; (2) Logistic regression, which learns probabilistic weights for global selection and calibration; (3) Iterative refinement, which updates the rule set using prediction errors; and (4) Evaluation, which compares the weighted rule set as a direct classifier with methods that inject rules into an LLM. We evaluate multiple inference strategies on real-world datasets. Applying rules directly with their learned weights yields superior performance, whereas prompting LLMs with the rules, weights, and logistic-model outputs surprisingly degrades accuracy. This supports the view that LLMs excel at semantic generation and interpretation but are less reliable for precise probabilistic integration. RLIE clarifies the potential and limitations of LLMs for inductive reasoning and couples them with classic probabilistic rule combination methods to enable more reliable neuro-symbolic reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、従来のルール学習において事前定義された述語空間の必要性を脇取りして、自然言語でルールを提案することができる。 しかし、LLMに基づく多くのアプローチはルール間の相互作用を無視し、堅牢な推論のための確率論的ルール学習とLLMを結合する機会は未定である。 本稿では,LLMと確率的モデリングを統合し,重み付きルールの集合を学習する統一フレームワークRLIEを提案する。 RLIE は,(1) LLM が候補を提案・フィルタリングするルール生成,(2) グローバル選択とキャリブレーションの確率的重みを学習するロジスティック回帰,(3) 予測誤差を用いてルールセットを更新する反復改良,(4) 重み付きルールセットを直接分類器として比較し,ルールを LLM に注入する手法と比較する評価の4段階を有する。 実世界のデータセット上で複数の推論戦略を評価する。 学習した重みでルールを直接適用すると性能が向上する一方、ルール、重み、ロジスティックモデルの出力は驚くほど精度が低下する。 このことは、LLMはセマンティック生成と解釈において優れているが、正確な確率積分には信頼性が低いという見解を支持する。 RLIEは、誘導的推論のためのLSMの可能性と限界を明らかにし、より信頼性の高いニューロシンボリック推論を可能にする古典的な確率論的ルールの組み合わせ法と組み合わせる。

関連論文リスト

• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• Beyond Instruction Following: Evaluating Inferential Rule Following of Large Language Models [25.337295202341608]
  大規模言語モデル(LLM)は、安全で正確でインテリジェントな実世界のシナリオによって制御され、ガイドされるはずである。 LLMの推論規則追従能力を評価しようとする従来の研究は、推論規則追従のシナリオと命令追従のシナリオを区別することができない。 本稿では、まず、推論規則追従の概念を明らかにし、推論規則追従能力の多様化範囲を評価するための総合的なベンチマークであるルールベンチを提案する。
  論文  参考訳（メタデータ） (2024-07-11T12:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。