論文の概要: YFPO: A Preliminary Study of Yoked Feature Preference Optimization with Neuron-Guided Rewards for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2605.11906v1
• Date: Tue, 12 May 2026 10:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.792426
• Title: YFPO: A Preliminary Study of Yoked Feature Preference Optimization with Neuron-Guided Rewards for Mathematical Reasoning
• Title（参考訳）: YFPO:数理推論のためのニューロン誘導リワードを用いたヨード特徴優先最適化に関する予備的検討
• Authors: Yifan Le,
• Abstract要約: 数学的推論のための予備的なニューロン誘導選好最適化フレームワークであるYFPOを紹介する。 YFPOはまずAttnLRPを用いて数学関連ニューロンを同定し、その後、好ましくない反応と好ましくない反応の間のアクティベーションマージンから補助的な報酬を構成する。 その結果、ニューロンレベルの信号は好みの最適化と相互作用し、時には推論性能を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference optimization has become an important post-training paradigm for improving the reasoning abilities of large language models. Existing methods typically rely on externally constructed preference data, using preferred and dispreferred responses as sample-level supervision. However, such external signals rarely make explicit use of capability-related information contained in the model's internal representations. For mathematical reasoning, certain neuron groups may exhibit activation patterns associated with mathematical knowledge, symbolic manipulation, or logical reasoning. Similar to reflexive behavioral signals, these internal activations may provide a coarse indication of whether the model is engaging math-related capabilities.We introduce YFPO, short for Yoked Feature Preference Optimization, a preliminary neuron-guided preference optimization framework for mathematical reasoning. YFPO first uses AttnLRP to identify math-related neurons, and then constructs an auxiliary reward from their activation margin between preferred and dispreferred responses. This design augments external preference learning with internal neuron-level signals. We conduct preliminary experiments on a small-scale language model using GSM8K as the main benchmark. Results suggest that neuron-level signals can interact with preference optimization and occasionally improve reasoning performance, offering a promising direction for more fine-grained and interpretable reasoning-oriented post-training.
• Abstract（参考訳）: 優先度最適化は、大規模言語モデルの推論能力を改善するための訓練後の重要なパラダイムとなっている。 既存の方法は、通常、サンプルレベルの監視として好ましくない反応を用いて、外部に構築された嗜好データに依存する。 しかし、そのような外部信号は、モデルの内部表現に含まれる能力関連情報を明示的に使用することは滅多にない。 数学的推論では、あるニューロン群は数学的知識、記号的操作、論理的推論に関連する活性化パターンを示すことがある。 反射的行動信号と同様に、これらの内部アクティベーションは、モデルが数学関連の能力にかかわっているかどうかの粗い表示を与える可能性がある。 YFPOはまずAttnLRPを用いて数学関連ニューロンを同定し、その後、好ましくない反応と好ましくない反応の間のアクティベーションマージンから補助的な報酬を構成する。 この設計は、内部ニューロンレベルの信号で外部の嗜好学習を強化する。 我々は,GSM8Kを主ベンチマークとして,小規模言語モデルの予備実験を行った。 その結果、ニューロンレベルの信号は好みの最適化と相互作用し、時には推論性能を向上し、よりきめ細やかで解釈可能な推論指向の学習に有望な方向を提供する可能性が示唆された。

関連論文リスト

• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• Stochastic Forward-Forward Learning through Representational Dimensionality Compression [14.020257767487323]
  本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元を用いた新しい良性関数次元圧縮を提案する。 本研究は, より生物学的に検証可能な学習アルゴリズムの開発に寄与し, ニューロモルフィックコンピューティングに自然に適合することが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T13:19:29Z)
• Active Human Feedback Collection via Neural Contextual Dueling Bandits [84.7608942821423]
  本稿では,人間の嗜好フィードバックを抽出するアルゴリズムであるNeural-ADBを提案する。 優先フィードバックがBradley-Terry-Luceモデルに従うと、Neural-ADBが学習したポリシーの最悪の準最適差は、選好データセットが増加するにつれて、サブ線形速度で減少することを示す。
  論文  参考訳（メタデータ） (2025-04-16T12:16:10Z)
• Pragmatist Intelligence: Where the Principle of Usefulness Can Take ANNs [1.170951597793276]
  ニューラルネットワーク(ANN)上で動作する機械学習アルゴリズムにおけるモデルパラメータ選択とネオプラグマティズムの理論との関係を概説する。 ANNのモデルパラメータ選択の結果を理解するために,本論文では,その意味がよく研究されている新プラグマティズム理論を用いることを提案する。
  論文  参考訳（メタデータ） (2024-05-07T15:11:42Z)
• The limitation of neural nets for approximation and optimization [0.0]
  最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。 本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
  論文  参考訳（メタデータ） (2023-11-21T00:21:15Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。