論文の概要: Support or Magnitude? Characterizing Neuron Relevance for Instruction Data Selection

• arxiv url: http://arxiv.org/abs/2610.16531v1
• Date: Mon, 12 Oct 2026 10:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:42:47.499109
• Title: Support or Magnitude? Characterizing Neuron Relevance for Instruction Data Selection
• Title（参考訳）: 支援とマグニチュード : 指導データ選択のためのニューロン関連性の特徴付け
• Abstract要約: AttnLRP誘導属性を用いたサンプルレベルの関連プロファイルを構築し,2つの相補的基準を導入する。 Qwen2モデルでは、PRMはアクティベーションベースの選択と強く関連している。 この結果から, ニューロンの関連性は, マグニチュードのみではなく, 命令データの選択に重要であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-internal signals, such as neuron activations and gradients, have been used for instruction data selection, yet how neuron relevance should be characterized remains underexplored. In particular, should selection prioritize the magnitude of relevance or how broadly it is distributed across neurons? To investigate this question, we construct sample-level relevance profiles using AttnLRP-guided attribution and introduce two complementary criteria: Effective Relevance Support (ERS), which measures the effective support of positive relevance, and Positive Relevance Magnitude (PRM), which captures its average strength. Our analyses reveal that these characterizations produce distinct sample rankings and selection preferences despite sharing the same underlying relevance profiles. On Qwen2 models, PRM exhibits stronger associations with activation-based selection, whereas ERS produces substantially different rankings. These differences extend to task composition, within-task sample preferences, and semantic selection patterns, with varying degrees of agreement across backbones. Experiments across three language models and five downstream benchmarks demonstrate the practical value of relevance-guided selection, with ERS achieving the best overall average performance rank among the evaluated methods. Our findings highlight that how neuron relevance is distributed and characterized, rather than its magnitude alone, matters for instruction data selection.
• Abstract（参考訳）: ニューロンの活性化や勾配などのモデル内信号は、命令データの選択に使われてきたが、ニューロンの関連性をどう特徴づけるべきかは未解明のままである。 特に、選択は関連性の度合いを優先すべきか、それともニューロン間でどの程度広く分布するかを優先すべきだろうか? 本研究では,AttnLRP誘導属性を用いたサンプルレベルの関連プロファイルを構築し,有効関連性支援(ERS)と,その平均強度を捉える正の関連性評価(PRM)の2つの相補的基準を導入する。 分析の結果,これらの特徴は,同一の関連プロファイルを共有しながら,異なる評価値と選択選好を生成することが明らかとなった。 Qwen2モデルでは、PRMはアクティベーションベースの選択と強く関連している。 これらの違いはタスク構成、タスク内サンプルの好み、セマンティックな選択パターンにまで及んでおり、バックボーン間での合意の度合いは様々である。 3つの言語モデルと5つのダウンストリームベンチマークによる実験により、ERSは評価された手法の中で最高の総合的なパフォーマンスランクを達成し、関連誘導選択の実用的価値が示された。 この結果から, ニューロンの関連性は, マグニチュードのみでなく, 命令データの選択に重要であることが示唆された。

関連論文リスト

• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• MINERVA: Mutual Information Neural Estimation for Supervised Feature Selection [39.57737590420284]
  本稿では,特徴と対象間の相互情報のニューラル推定に基づく特徴選択のための新しい手法を提案する。 ニューラルネットワークによる相互情報の近似をパラマティフィケーションし、疎性誘導型正規化器を付加した慎重に設計された損失関数を用いて特徴選択を行う。 提案手法は,特徴選択から表現学習を分離する2段階のプロセスで実装され,より優れた一般化とより正確な特徴重要度表現を実現する。
  論文  参考訳（メタデータ） (2025-10-02T23:09:06Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• A Copula Based Supervised Filter for Feature Selection in Diabetes Risk Prediction Using Machine Learning [0.0]
  我々は,Gumbel copula上尾依存性係数(lambda_U$)を用いて特徴量をランク付けする計算効率の高い教師付きフィルタを提案する。 2つの糖尿病データセット上の4つの分類器で、Mutual Information、mRMR、ReliefF、および$L_1$ Elastic Netを比較した。 上肢依存によるコプラに基づく特徴選択は、公衆衛生・臨床医療におけるリスクモデル構築のための強力で効率的かつ解釈可能なアプローチである。
  論文  参考訳（メタデータ） (2025-05-28T16:34:58Z)
• Investigating the Impact of Data Selection Strategies on Language Model Performance [1.0013553984400492]
  本研究では,異なるデータ選択手法と特徴型がモデル性能に与える影響について検討する。 我々は,データサブセットの選択が下流タスクに影響を及ぼすか,n-gram特徴が目標分布との整合性を改善するか,埋め込み型ニューラルネットワーク特徴が相補的な利点をもたらすかを評価する。
  論文  参考訳（メタデータ） (2025-01-07T14:38:49Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Multivariate feature ranking of gene expression data [62.997667081978825]
  ペアワイズ相関とペアワイズ整合性に基づく2つの新しい多変量特徴ランキング手法を提案する。 提案手法は, クラスタリング変動, チ・スクエアド, 相関, 情報ゲイン, ReliefF および Significance の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。