論文の概要: InjectRBP: Steering Large Language Model Reasoning Behavior via Pattern Injection

• arxiv url: http://arxiv.org/abs/2602.12013v1
• Date: Thu, 12 Feb 2026 14:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.872096
• Title: InjectRBP: Steering Large Language Model Reasoning Behavior via Pattern Injection
• Title（参考訳）: InjectRBP:パターン注入による大規模言語モデル推論動作のステアリング
• Authors: Xiuping Wu, Zhao Yu, Yuxin Cheng, Ngai Wong, Liangjun Ke, Tapas Mishra, Konstantinos V. Katsikopoulos,
• Abstract要約: 推論は大規模言語モデルの性能を大幅に向上させることができる。 モデルの推論行動は,行動パターンの観点から,どのように推論を形成するかを検討する。 InjectCorrect と InjectRLOpt の2つのパラメータ更新を必要としない最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 12.65760977924031
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reasoning can significantly enhance the performance of Large Language Models. While recent studies have exploited behavior-related prompts adjustment to enhance reasoning, these designs remain largely intuitive and lack a systematic analysis of the underlying behavioral patterns. Motivated by this, we investigate how models' reasoning behaviors shape reasoning from the perspective of behavioral patterns. We observe that models exhibit adaptive distributions of reasoning behaviors when responding to specific types of questions, and that structurally injecting these patterns can substantially influence the quality of the models' reasoning processes and outcomes. Building on these findings, we propose two optimization methods that require no parameter updates: InjectCorrect and InjectRLOpt. InjectCorrect guides the model by imitating behavioral patterns derived from its own past correct answers. InjectRLOpt learns a value function from historical behavior-pattern data and, via our proposed Reliability-Aware Softmax Policy, generates behavioral injectant during inference to steer the reasoning process. Our experiments demonstrate that both methods can improve model performance across various reasoning tasks without requiring any modifications to model parameters, achieving gains of up to 5.34% and 8.67%, respectively.
• Abstract（参考訳）: 推論は大規模言語モデルの性能を大幅に向上させることができる。 近年の研究では、推論を強化するための行動関連プロンプトの調整が活用されているが、これらの設計はほとんど直感的であり、基礎となる行動パターンの体系的な分析が欠如している。 そこで本研究では,モデルが行動パターンの観点から推論行動をどのように形成するかを考察する。 我々は,モデルが特定の種類の質問に応答する際の推論行動の適応分布を示し,これらのパターンを構造的に注入することで,モデルの推論プロセスと結果の質に大きな影響を与えることを観察した。 InjectCorrect と InjectRLOpt の2つのパラメータ更新を必要としない最適化手法を提案する。 InjectCorrectは、過去の正しい回答から派生した行動パターンを模倣することによってモデルをガイドする。 InjectRLOptは、過去の行動パターンデータから値関数を学習し、提案したReliability-Aware Softmax Policyを通じて、推論中に行動インジェクタントを生成し、推論プロセスを制御する。 実験の結果, モデルパラメータの変更を必要とせず, モデル性能を最大5.34%, 8.67%向上させることができることがわかった。

関連論文リスト

• Understanding Reasoning in Thinking Language Models via Steering Vectors [29.101045366810652]
  我々はDeepSeek-R1-Distillモデルにおいて、特定の推論動作を分析し、操作する。 これらの挙動はモデルの活性化空間における線形方向によって媒介され、ステアリングベクトルを用いて制御できることを実証する。 提案手法は,思考モデルにおける推論過程を制御的かつ解釈可能な方法で操る実用的なツールを提供する。
  論文  参考訳（メタデータ） (2025-06-22T20:45:26Z)
• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• Towards Understanding Distilled Reasoning Models: A Representational Approach [6.563993791037387]
  我々は、Qwen系列モデルとその微調整された変種についてクロスコーダを訓練する。 この結果から,クロスコーダは自己回帰や検証など,多種多様な推論に対応する特徴を学習できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-05T18:40:19Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Inverse Decision Modeling: Learning Interpretable Representations of Behavior [72.80902932543474]
  我々は,逆決定モデルに関する表現的,統一的な視点を開拓する。 これを逆問題(記述モデルとして)の形式化に用います。 この構造が(有界な)有理性の学習(解釈可能な)表現を可能にする方法について説明する。
  論文  参考訳（メタデータ） (2023-10-28T05:05:01Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。