Fugu-MT 論文翻訳(概要): RLSF: Fine-tuning LLMs via Symbolic Feedback

論文の概要: RLSF: Fine-tuning LLMs via Symbolic Feedback

arxiv url: http://arxiv.org/abs/2405.16661v3
Date: Fri, 27 Jun 2025 00:16:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-30 21:12:22.868145
Title: RLSF: Fine-tuning LLMs via Symbolic Feedback
Title（参考訳）: RLSF:シンボリックフィードバックによる微調整LDM
Authors: Piyush Jha, Prithwish Jana, Pranavkrishna Suresh, Arnav Arora, Vijay Ganesh,
Abstract要約: 大規模言語モデル(LLM)はAIを変えてきたが、ドメイン固有の推論と論理的アライメントを必要とするタスクにしばしば苦労している。従来の微調整手法は、私たちにとって利用可能な膨大な量の記号的ドメイン知識を活用できない。本稿では,新しい微調整パラダイムであるシンボリックフィードバック(RLSF)による強化学習を紹介する。
参考スコア（独自算出の注目度）: 11.407319705797242
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have transformed AI but often struggle with tasks that require domain-specific reasoning and logical alignment. Traditional fine-tuning methods do not leverage the vast amount of symbolic domain-knowledge available to us via symbolic reasoning tools (e.g., provers), and are further limited by sparse rewards and unreliable reward models. We introduce Reinforcement Learning via Symbolic Feedback (RLSF), a novel fine-tuning paradigm where symbolic reasoning tools (e.g., solvers, provers, and algebra systems) provide fine-grained feedback to LLMs. RLSF uses poly-sized certificates (e.g., proofs) generated by symbolic tools to identify and correct errors in model outputs, offering token-level guidance without requiring differentiable reasoning systems. This paradigm bridges the gap between symbolic reasoning and LLM fine-tuning, enabling precise alignment with domain-specific constraints while addressing key limitations of traditional reward signals. Via extensive evaluations, we show that our RLSF-based fine-tuning of LLMs outperforms traditional approaches on five different applications (that have some associated logical or domain constraints), namely, program synthesis from natural language pseudo-code to programming language, three chemistry tasks, and solving the Game of 24. A key takeaway is that fine-tuning via RLSF enables relatively smaller LLMs to significantly outperform closed-source models that are orders of magnitude larger.
Abstract（参考訳）: 大規模言語モデル(LLM)はAIを変えてきたが、ドメイン固有の推論と論理的アライメントを必要とするタスクにしばしば苦労している。従来の微調整手法では、記号的推論ツール(例:プロバー)を通じて利用できる膨大な量の記号的ドメイン知識を活用できず、より少ない報酬モデルと信頼できない報酬モデルによってさらに制限される。シンボリック・フィードバックによる強化学習(RLSF)は,シンボリック推論ツール(例えば,ソルバ,プロバー,代数システム)がLLMに対してきめ細かいフィードバックを提供する,新しい微調整パラダイムである。 RLSFは、シンボリックツールによって生成されたポリサイズ証明書(例:証明)を使用して、モデル出力のエラーを特定し、修正し、異なる推論システムを必要としないトークンレベルのガイダンスを提供する。このパラダイムはシンボリック推論とLLMファインチューニングのギャップを埋め、従来の報酬信号の重要な制限に対処しながら、ドメイン固有の制約を正確に調整することを可能にする。広範に評価した結果,我々のRLSFによるLLMの微調整は,自然言語の擬似コードからプログラミング言語へのプログラム合成,3つの化学タスク,そしてゲーム・オブ・24の解決という,5つの異なるアプリケーション(関連する論理的制約やドメイン的制約を含む)において,従来のアプローチよりも優れていることがわかった。重要な点は、RLSFによる微調整により、比較的小さなLCMが、桁違いに大きいクローズドソースモデルを大幅に上回ることができるということである。

関連論文リスト

MSL: Not All Tokens Are What You Need for Tuning LLM as a Recommender [24.03860153639828]
提案するMasked Softmax Loss (MSL) は,大規模言語モデル (LLM) を推奨する。 MSLは、損失計算中に架空のアイテム記述につながる可能性のある無効トークンを識別し、マスクすることで、LMLを改善している。 4つの公開データセットで実施された大規模な実験は、MSLの有効性をさらに検証し、NDCG@10で平均42.24%の改善を達成した。
論文参考訳（メタデータ） (2025-04-05T13:48:33Z)
LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
論文参考訳（メタデータ） (2025-04-04T03:03:47Z)
R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文参考訳（メタデータ） (2025-03-07T17:14:44Z)
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-10-02T15:49:30Z)
CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。そこで本研究では,学習バランスを定量的に評価する尺度を提案する。さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文参考訳（メタデータ） (2024-07-29T23:18:55Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Beyond Human Preferences: Exploring Reinforcement Learning Trajectory Evaluation and Improvement through LLMs [12.572869123617783]
強化学習(Reinforcement Learning, RL)は、複雑なゲームタスクにおけるポリシートラジェクトリを評価する上での課題である。 PbRLは、人間の嗜好を重要な報酬信号として活用する先駆的なフレームワークである。 LLM4PG という LLM 対応自動選好生成フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-28T04:21:24Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation [23.182787000804407]
セッションベースレコメンデーション(SBR)を強化するための有望なアプローチとして,大規模言語モデル(LLM)が登場している。本稿では,SBRのための反射強化大言語モデル(Re2LLM)を提案する。
論文参考訳（メタデータ） (2024-03-25T05:12:18Z)
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection [24.435121488662897]
反射フィードバックによる強化学習(RLRF)という新しい枠組みを提案する。 RLRFは自己回帰機構を用いて、LLM応答を体系的に探索し、洗練し、RLアルゴリズムを介してモデルを微調整し、有望な応答を与える。ジャスト・エバル, ファクタリティ, 数学的推論による実験は, RLRFの有効性と変換ポテンシャルを実証した。
論文参考訳（メタデータ） (2024-03-21T08:57:27Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。