論文の概要: Target-Oriented Pretraining Data Selection via Neuron-Activated Graph

• arxiv url: http://arxiv.org/abs/2604.15706v1
• Date: Fri, 17 Apr 2026 05:27:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.745568
• Title: Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
• Title（参考訳）: ニューロン活性化グラフによる目標指向事前学習データ選択
• Authors: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu,
• Abstract要約: 我々は、ニューロン活性化グラフランキング(NAG-based Graph Ranking)を導入して、ターゲット指向言語モデル(LM)の事前学習について検討する。 NAG-based Rankingは、市販のLLMにおいて、高インパクトニューロンのスパースセットによって入力される各ターゲットを特徴付ける。 我々は6つのベンチマークで実験を行い、NAGに基づくランキングは、ランダムサンプリングよりも平均4.9%、目標指向の事前学習を改善する。
• 参考スコア（独自算出の注目度）: 37.99870874856902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Everyday tasks come with a target, and pretraining models around this target is what turns them into experts. In this paper, we study target-oriented language model (LM) pretraining by introducing Neuron-Activated Graph Ranking (NAG-based Ranking), a training-free and interpretable framework for target pretraining data selection. Rather than using black-box representations, our approach directly characterizes each target input by a sparse set of high-impact neurons in any off-the-shelf LLMs. Concretely, we quantify neuron impact and select the most influential neurons across layers into a compact Neuron-Activated Graph (NAG), and rank candidate data by NAG similarity to target examples. We conduct experiments across six benchmarks, where our NAG-based Ranking improves target-oriented pretraining by 4.9% on average over random sampling, and also outperforms state-of-the-art baselines by 5.3% accuracy on HellaSwag. It also remains effective under a more applicable multi-target setting, where our best setup surpasses two baselines by 1.1% and 4.1%, respectively. Furthermore, we provide a comprehensive analysis on why and how our NAG works, e.g., deactivating NAG-selected neurons (only 0.12% of all) causes a 23.5% performance collapse, and restricting NAG to the final layer incurs a 4.1% average drop, indicating that NAG captures a sparse "functional backbone" for learning target features. We release the code at https://github.com/asillycat/NAG.
• Abstract（参考訳）: 毎日のタスクには目標が伴い、このターゲットの周りのモデルを事前訓練することが、それらが専門家になるのです。 そこで本稿では,Nuron-Activated Graph Ranking(NAG-based Ranking,NAG-based Ranking,NAG-based Ranking,NAG-based Graph Ranking)を導入することにより,ターゲット指向言語モデル(LM)の事前学習について検討する。 ブラックボックス表現を使用するのではなく、本手法では、各ターゲットの入力を、市販のLLMで高インパクトニューロンのスパースセットによって直接特徴付ける。 具体的には、ニューロンの影響を定量化し、層をまたいだ最も影響力のあるニューロンをコンパクトなニューロン活性化グラフ(NAG)に選択し、NAG類似性による候補データのランク付けを行う。 我々は6つのベンチマークで実験を行い、NAGベースのランキングは、ランダムサンプリング平均で4.9%、HellaSwagでは5.3%の精度で最先端のベースラインを上回ります。 また、より適用可能なマルチターゲット設定でも有効であり、最高の設定は2つのベースラインをそれぞれ1.1%、そして4.1%を超えています。 さらに、NAGがどのように機能するか、例えば、NAG選択ニューロンの活性化(全体の0.12%)が23.5%の性能低下を引き起こし、NAGを最終層に制限すると平均4.1%の低下が生じ、NAGが目標特徴を学習するためにスパースな「機能的バックボーン」を捕捉することを示す。 コードをhttps://github.com/asillycat/NAG.comでリリースします。

関連論文リスト

• A Benchmark Analysis of Graph and Non-Graph Methods for Caenorhabditis Elegans Neuron Classification [20.109449114162004]
  本研究は,elegans elegans ニューロン分類の基準を確立する。 機能的コネクトームを用いて,感覚,ニューロン,運動ニューロンを空間的,接続的,神経活動的特徴に基づいて分類した。
  論文  参考訳（メタデータ） (2026-02-19T06:33:45Z)
• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation [8.661419320202787]
  MS-MARCOのような大規模タスク固有のトレーニングデータで事前訓練された最先端のニューラルローダーは、ドメイン適応なしで様々なランク付けタスクに強いパフォーマンスを示すことが示されている(ゼロショットとも呼ばれる)。 本稿では,従来の文献における重要なギャップに対処する,ランク付けのための教師なしドメイン適応手法であるDUQGenを提案する。
  論文  参考訳（メタデータ） (2024-04-03T05:50:42Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• Mitigating Overfitting in Graph Neural Networks via Feature and Hyperplane Perturbation [3.4498722449655066]
  グラフニューラルネットワーク(GNN)のための新しいデータ拡張戦略を提案する。 初期特徴と超平面の両方を反転させることで、学習可能なパラメータをより正確に更新する訓練スペースを新たに作成する。 実世界のデータセットを用いた実験により,提案手法はノード分類精度を46.5%向上させることができた。
  論文  参考訳（メタデータ） (2022-11-28T05:54:24Z)
• A Meta-GNN approach to personalized seizure detection and classification [53.906130332172324]
  本稿では,特定の患者に限られた発作サンプルから迅速に適応できるパーソナライズされた発作検出・分類フレームワークを提案する。 トレーニング患者の集合からグローバルモデルを学ぶメタGNNベースの分類器を訓練する。 本手法は, 未確認患者20回に限って, 精度82.7%, F1スコア82.08%を達成し, ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-11-01T14:12:58Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。