論文の概要: ReaLM: Reflection-Enhanced Autonomous Reasoning with Small Language Models

• arxiv url: http://arxiv.org/abs/2508.12387v1
• Date: Sun, 17 Aug 2025 14:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.713674
• Title: ReaLM: Reflection-Enhanced Autonomous Reasoning with Small Language Models
• Title（参考訳）: ReaLM: 小さな言語モデルによるリフレクション強化自律推論
• Authors: Yuanfeng Xu, Zehui Dai, Jian Liang, Jiapeng Guan, Guangrun Wang, Liang Lin, Xiaohui Lv,
• Abstract要約: 小型言語モデル (SLM) は大規模言語モデル (LLM) に代わる費用対効果がある。 彼らはしばしば、限られた能力と間違いや一貫性のない答えを生み出す傾向があるため、複雑な推論に苦しむ。 本稿では、垂直領域における堅牢かつ自己充足的推論のための強化学習フレームワークであるReaLMを紹介する。
• 参考スコア（独自算出の注目度）: 76.28894983518164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small Language Models (SLMs) are a cost-effective alternative to Large Language Models (LLMs), but often struggle with complex reasoning due to their limited capacity and a tendency to produce mistakes or inconsistent answers during multi-step reasoning. Existing efforts have improved SLM performance, but typically at the cost of one or more of three key aspects: (1) reasoning capability, due to biased supervision that filters out negative reasoning paths and limits learning from errors; (2) autonomy, due to over-reliance on externally generated reasoning signals; and (3) generalization, which suffers when models overfit to teacher-specific patterns. In this paper, we introduce ReaLM, a reinforcement learning framework for robust and self-sufficient reasoning in vertical domains. To enhance reasoning capability, we propose Multi-Route Process Verification (MRPV), which contrasts both positive and negative reasoning paths to extract decisive patterns. To reduce reliance on external guidance and improve autonomy, we introduce Enabling Autonomy via Asymptotic Induction (EAAI), a training strategy that gradually fades external signals. To improve generalization, we apply guided chain-of-thought distillation to encode domain-specific rules and expert knowledge into SLM parameters, making them part of what the model has learned. Extensive experiments on both vertical and general reasoning tasks demonstrate that ReaLM significantly improves SLM performance across aspects (1)-(3) above.
• Abstract（参考訳）: SLM(Small Language Models)は、LLM(Large Language Models)の代用として費用対効果があるが、その能力の限界と、多段階推論においてミスや一貫性のない回答を生じる傾向があるため、複雑な推論に苦慮することが多い。 既存の取り組みは、SLMのパフォーマンスを改善するが、典型的には、1つ以上の主要な側面のうち1つ以上のコストがかかる:(1)推論能力、負の推論経路をフィルタリングし、誤りからの学習を制限するバイアス付き監督、(2)外部発生した推論信号への過度な依存による自律性、(3)モデルが教師固有のパターンに過度に適合した場合に生じる一般化。 本稿では,垂直領域における堅牢かつ自己充足的推論のための強化学習フレームワークであるReaLMを紹介する。 推論能力を高めるために,肯定的および否定的な推論経路を対比して決定的パターンを抽出するMRPV(Multi-Route Process Verification)を提案する。 外部指導への依存を減らし、自律性の向上を図るため、漸近的誘導(EAAI)を通じて、段階的に外部信号を消失させる訓練戦略を導入する。 一般化を改善するために,ドメイン固有のルールや専門家の知識をSLMパラメータにエンコードするために,ガイド付き連鎖蒸留を適用し,モデルが学んだことの一部となる。 垂直および一般の推論タスクにおける広範囲な実験により、ReaLMは上述の側面(1)〜(3)のSLM性能を著しく向上することが示された。

関連論文リスト

• Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following [10.119219532863767]
  思考段階の怠慢な推論は 指示の順守に 寄与する主要な要因だ 本稿では,プレビューと自己チェックを含む厳密な推論プロセスを実現するための包括的フレームワークを提案する。 私たちのLight-IF-32Bモデルは、DeepSeek-R1のような大規模なオープンソースモデルと、Doubao-1.6のようなクローズドソースモデルの両方を上回っています。
  論文  参考訳（メタデータ） (2025-08-05T07:42:00Z)
• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning [25.02860760920562]
  MLLM(Multimodal large language model)は、タスク推論において有望な能力を示すが、明示的な自己回帰と自己補正を必要とする複雑な問題に悩まされている。 既存のリフレクション手法は単純で、意味のあるインストラクティブフィードバックを生成するのに苦労している。 本稿では,2段階のリフレクション対応強化学習フレームワークであるグループ相対ポリシー最適化 (SRPO) を用いたマルチモーダル自己回帰強化推論を提案する。
  論文  参考訳（メタデータ） (2025-06-02T14:21:44Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Vision-Language Models Can Self-Improve Reasoning via Reflection [20.196406628954303]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上を実証した。 本稿では,自己学習フレームワークR3Vを提案する。このフレームワークは,CoTレーショナル上でのリフレクションにより,モデルの視覚言語推論を反復的に強化する。 提案手法は, 生成した解に対する自己回帰をサポートし, テスト時間計算による性能向上を図っている。
  論文  参考訳（メタデータ） (2024-10-30T14:45:00Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。