論文の概要: NEX: Neuron Explore-Exploit Scoring for Label-Free Chain-of-Thought Selection and Model Ranking

• arxiv url: http://arxiv.org/abs/2602.05805v1
• Date: Thu, 05 Feb 2026 15:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.021753
• Title: NEX: Neuron Explore-Exploit Scoring for Label-Free Chain-of-Thought Selection and Model Ranking
• Title（参考訳）: NEX: ラベルなしチェーン選択とモデルランク付けのためのニューロン探索
• Authors: Kang Chen, Zhuoka Feng, Sihan Zhao, Kai Xiong, Junjie Nian, Yaoning Wang, Changyi Xiao, Yixin Cao,
• Abstract要約: 大規模言語モデルは、複数のチェーンオブソートトレースをサンプリングしたり、マージされたチェックポイントを探索する推論計算にますます費やされる。 エントロピーに基づく探索プロキシは,逆Uを精度良く追従し,余分な探索が冗長になり,過剰な思考を誘発する可能性が示唆された。 NEXは、推論をE相(探索)とX相(探索)の交互に考えるホワイトボックスなラベルなし教師なしスコアリングフレームワークである。
• 参考スコア（独自算出の注目度）: 25.50335818858287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly spend inference compute sampling multiple chain-of-thought traces or searching over merged checkpoints. This shifts the bottleneck from generation to selection, often without supervision on the target distribution. We show entropy-based exploration proxies follow an inverted-U with accuracy, suggesting extra exploration can become redundant and induce overthinking. We propose NEX, a white-box label-free unsupervised scoring framework that views reasoning as alternating E-phase (exploration) and X-phase (exploitation). NEX detects E-phase as spikes in newly activated MLP neurons per token from sparse activation caches, then uses a sticky two-state HMM to infer E-X phases and credits E-introduced neurons by whether they are reused in the following X span. These signals yield interpretable neuron weights and a single Good-Mass Fraction score to rank candidate responses and merged variants without task answers. Across reasoning benchmarks and Qwen3 merge families, NEX computed on a small unlabeled activation set predicts downstream accuracy and identifies better variants; we further validate the E-X signal with human annotations and provide causal evidence via "Effective-vs-Redundant" neuron transfer.
• Abstract（参考訳）: 大規模言語モデルは、複数のチェーンオブソートトレースをサンプリングしたり、マージされたチェックポイントを探索する推論計算にますます費やされる。 これにより、しばしばターゲットの分布を監督することなく、ボトルネックを生成から選択へとシフトする。 エントロピーに基づく探索プロキシは,逆Uを精度良く追従し,余分な探索が冗長になり,過剰な思考を誘発する可能性が示唆された。 ホワイトボックスのラベルを含まない非教師なしスコアリングフレームワークであるNEXを提案し、推論をE相(探索)とX相(探索)の交互に考える。 NEXは、スパースアクティベーションキャッシュからトークンごとに新たに活性化されたMLPニューロンのスパイクとしてE期を検出し、ステッキーな2状態HMMを使用してE-Xフェーズを推論し、次のX領域で再利用されるかどうかでE-Introducedニューロンをクレジットする。 これらの信号は解釈可能なニューロンの重みと、1つのグッド・マス・フラクションスコアを出力し、候補応答をランク付けし、タスク応答を伴わない変種をマージする。 NEXは、推論ベンチマークとQwen3マージファミリ全体にわたって、下流の精度を予測し、より良い変種を同定し、E-Xシグナルを人間のアノテーションで検証し、「Effective-vs-Redundant」ニューロン伝達を介して因果的証拠を提供する。

関連論文リスト

• SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization [24.699488237384134]
  トークン選択型テスト時間強化学習フレームワークであるSPINEを提案する。 我々はSPINEがTTRLよりもPass@1を継続的に改善し、応答長の崩壊を避けていることを示す。 これらの結果から, 分岐点の整合性は, 安定かつ効果的なテスト時間適応のための単純かつラベルのない機構であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-22T06:32:34Z)
• Supervised Machine Learning for Predicting Open Quantum System Dynamics and Detecting Non-Markovian Memory Effects [0.0]
  オープン量子システムのダイナミクスを予測し,非マルコフメモリを検出するための,エンフノベルでスケーラブルな教師付き機械学習フレームワークを提案する。 過去の補足データの短いスライディングウィンドウでトレーニングされたフィードフォワードニューラルネットワークは、状態トモグラフィや風呂の知識のない観測可能なシステム$langle Z_(S)(t)rangle$を予測する。 メモリの定量化のために、Emphpredicted $langle Z_(S) において上向きの 'ターンバック' をカウントする正規化再生基準を導入する。
  論文  参考訳（メタデータ） (2025-09-26T10:40:44Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference [6.138129592577736]
  NNの新しいクラスであるNeural-Sampling-Machineを紹介し、シナプス接続におけるシナプス性を利用してベイズ推定を近似する。 クロスバーと金属状態の間のセレクタ要素の固有のスイッチングは、NSMのシナプス内の乗算ノイズをもたらすことを実験的に示した。 回転試料における標準画像分類タスクとデータ不確実性推定について報告する。
  論文  参考訳（メタデータ） (2021-02-20T23:45:24Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions Segmentation [79.58311369297635]
  異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。 wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。 新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
  論文  参考訳（メタデータ） (2020-12-08T02:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。