論文の概要: Finding RELIEF: Shaping Reasoning Behavior without Reasoning Supervision via Belief Engineering
- arxiv url: http://arxiv.org/abs/2601.13752v1
- Date: Tue, 20 Jan 2026 09:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:23.24069
- Title: Finding RELIEF: Shaping Reasoning Behavior without Reasoning Supervision via Belief Engineering
- Title（参考訳）: ReLIEFの発見: 信念工学を介さずに推論行動を形成する
- Authors: Chak Tou Leong, Dingwei Chen, Heming Xia, Qingyu Yin, Sunbowen Lee, Jian Wang, Wenjie Li,
- Abstract要約: 大きな推論モデル(LRM)は複雑な問題解決において顕著な成功を収めているが、計算の冗長性や不誠実さの推論に悩まされることが多い。
本稿では,RELIEF(Reasoning Belief Engineering)を提案する。RELIEF(Reasoning Belief Engineering)は,モデルの自己概念と目標信念の青写真とを整合させることにより,LEMの振る舞いを形作るフレームワークである。
RELIEFは、目的の信念を肯定する自己反射的質問応答ペアを微調整することによって、望ましい特性を内部化する。
- 参考スコア（独自算出の注目度）: 25.183793455770978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large reasoning models (LRMs) have achieved remarkable success in complex problem-solving, yet they often suffer from computational redundancy or reasoning unfaithfulness. Current methods for shaping LRM behavior typically rely on reinforcement learning or fine-tuning with gold-standard reasoning traces, a paradigm that is both computationally expensive and difficult to scale. In this paper, we reveal that LRMs possess latent \textit{reasoning beliefs} that internally track their own reasoning traits, which can be captured through simple logit probing. Building upon this insight, we propose Reasoning Belief Engineering (RELIEF), a simple yet effective framework that shapes LRM behavior by aligning the model's self-concept with a target belief blueprint. Crucially, RELIEF completely bypasses the need for reasoning-trace supervision. It internalizes desired traits by fine-tuning on synthesized, self-reflective question-answering pairs that affirm the target belief. Extensive experiments on efficiency and faithfulness tasks demonstrate that RELIEF matches or outperforms behavior-supervised and preference-based baselines while requiring lower training costs. Further analysis validates that shifting a model's reasoning belief effectively shapes its actual behavior.
- Abstract（参考訳）: 大きな推論モデル(LRM)は複雑な問題解決において顕著な成功を収めているが、計算の冗長性や不誠実さの推論に悩まされることが多い。
LRMの振る舞いを形作る現在の手法は、通常、強化学習やゴールドスタンダードの推論トレースによる微調整に依存しており、これは計算に高価でスケールが難しいパラダイムである。
本稿では, LRM が, 単純なロジット探索によって取得可能な, 自身の推論特性を内部的に追跡する潜在的 \textit{reasoning beliefs を保有していることを明らかにする。
この知見に基づいて、モデルの自己概念と目標とする信念の青写真とを整合させることにより、LEMの振る舞いを形作るシンプルで効果的なフレームワークであるReasoning Belief Engineering (RELIEF)を提案する。
重要なことは、RELIEFは推論トレースの監視の必要性を完全に回避している。
目的の信念を肯定する自己反射的質問応答対を微調整することで、望ましい特性を内部化する。
効率性と忠実さのタスクに関する大規模な実験は、RELIEFがより低いトレーニングコストを必要としながら、行動監督および嗜好に基づくベースラインに適合または優れることを示した。
さらなる分析により、モデルの推論の信念を変えることは、その実際の振る舞いを効果的に形成することを検証する。
関連論文リスト
- How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。
アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。
モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
論文 参考訳（メタデータ） (2025-11-20T13:10:52Z) - Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。
RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。
RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
論文 参考訳（メタデータ） (2025-11-10T18:25:26Z) - MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models [43.872922223495586]
大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。
この制限は、モデルが推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができない、推論と問合せのギャップに起因する。
本稿では,外部検証に頼らずに事実性を高めるフレームワークMR-ALIGNを提案する。
論文 参考訳（メタデータ） (2025-10-27T15:00:54Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models [15.797612515648412]
大きな推論モデル (LRMs) は、Chain-of-Thought (CoT) 推論を通じて複雑な問題を解く際、前例のない能力を示す。
最近の研究では、彼らの最後の答えは、しばしば彼ら自身の推論の痕跡と矛盾していることが明らかになっている。
この矛盾は、CoT推論とメモリ検索という2つの競合メカニズムに起因していると仮定する。
本稿では,メモリアンラーニングと強化学習を統合したファインチューニングフレームワークFARLを紹介する。
論文 参考訳（メタデータ） (2025-09-29T01:13:33Z) - Is Long-to-Short a Free Lunch? Investigating Inconsistency and Reasoning Efficiency in LRMs [8.359909829007005]
大規模推論モデル(LRM)において,効率的な推論手法が行動の不整合をもたらすかどうかを検討する。
$ICBENCH$は、3次元にわたるLRMの不整合を測定するために設計されたベンチマークである。
より大きなモデルは一般的に小さなモデルよりも一貫性が高いが、すべてのモデルが広く「計画的」な振る舞いを示す。
論文 参考訳（メタデータ） (2025-06-24T10:25:28Z) - Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。
LRM効率を向上させるための2つの軽量手法を提案する。
まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。
第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
論文 参考訳（メタデータ） (2025-06-18T17:18:12Z) - Thinking Out Loud: Do Reasoning Models Know When They're Right? [25.683190106676893]
大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的な機能を示した。
本研究では,LRMが他のモデル行動とどのように相互作用するかを,言語的信頼度を解析することによって検討する。
推論モデルには、知識境界に対する認識の低下がある可能性がある。
論文 参考訳（メタデータ） (2025-04-09T03:58:19Z) - Reward Models Identify Consistency, Not Causality [54.987590763737145]
最先端の報酬モデルでは、因果正しさよりも構造的な一貫性が優先される。
問題文の削除は報酬のスコアに最小限の影響を与える。
数値を変更するか、推論フローを乱すかは、RM出力に大きく影響する。
論文 参考訳（メタデータ） (2025-02-20T14:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。