論文の概要: Neuron-Aware Active Few-Shot Learning for LLMs
- arxiv url: http://arxiv.org/abs/2607.02423v1
- Date: Thu, 02 Jul 2026 16:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.93495
- Title: Neuron-Aware Active Few-Shot Learning for LLMs
- Title（参考訳）: LLMのためのニューロン対応能動Few-Shot学習
- Abstract要約: 我々はNeuFS(NeuFS, Neuron-Aware Active Few-Shot Learning framework)を提案する。
NeuFSは選択パラダイムを出力レベルのプロキシからモデルの内部ダイナミクスにシフトする。
3つのデータセットの実験では、NeuFSは推論とテキスト分類の両方で優れていることが示されている。
- 参考スコア（独自算出の注目度）: 13.366862199248388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active Few-Shot Learning (AFSL) adapts LLMs to specialized domains by identifying the most valuable unlabeled samples for annotation and use as few-shot demonstrations, effectively reducing human annotation costs while promoting high performance. However, existing methods typically rely on output-level signals for sample identification, such as predictive entropy or semantic similarities with test-time data based on external embeddings, which often overlook models' internal dynamics, which could pinpoint specific knowledge gaps. To bridge this gap, we propose NeuFS, a Neuron-Aware Active Few-Shot Learning framework that shifts the selection paradigm from output-level proxies to models' internal dynamics. NeuFS utilizes neuron activation patterns to represent sample directly, and includes a dual-criteria selection strategy that: (1) ensures few-shot sample diversity with neuron patterns for broader example coverage, while (2) prioritizing on identifying informative and challenging few-shot samples LLMs tend to hallucinate by quantifying neuron consensus. Experiments on three datasets demonstrate that NeuFS excels in both reasoning and text classification tasks, outperforming existing AFSL baselines. Ablation studies further highlight that internal neuron activations provide a more principled and effective selection signal than external embeddings, validating the superiority of the proposed NeuFS.
- Abstract（参考訳）: Active Few-Shot Learning (AFSL) は、アノテーションと使用のための最も価値の高い未ラベルサンプルを数ショットのデモとして識別し、高いパフォーマンスを向上しながら、人間のアノテーションコストを効果的に削減することで、特殊なドメインにLLMを適用する。
しかし、既存の手法は通常、サンプル識別のための出力レベル信号(例えば、予測エントロピーや外部埋め込みに基づくテスト時間データとのセマンティックな類似性など)に依存している。
このギャップを埋めるため、我々はNeuFS(Neuron-Aware Active Few-Shot Learning)フレームワークを提案し、選択パラダイムを出力レベルのプロキシからモデルの内部ダイナミクスにシフトさせる。
NeuFSは、サンプルを直接的に表現するためにニューロン活性化パターンを使用し、(1)より広いサンプルカバレッジのために、ニューロンパターンによる少数ショットサンプルの多様性を保証する、(2)情報的かつ挑戦的な少数ショットサンプルの特定を優先するLSMは、ニューロンコンセンサスを定量化することで幻覚を引き起こす、という2つの基準選択戦略を含む。
3つのデータセットの実験では、NeuFSは推論とテキスト分類の両方で優れており、既存のAFSLベースラインを上回っている。
アブレーション研究は、内部ニューロンの活性化が外部埋め込みよりもより原理的で効果的な選択信号を提供し、提案されたNeuFSの優位性を検証することを強調している。
関連論文リスト
- Neuron-Guided Fine-Tuning: Unlocking Efficient Alignment Mechanisms for Large Language Models [73.88918843965155]
既存のSupervised Fine-Tuningパラダイムは、パラメータ冗長性、一貫性のないデータ品質、破滅的な忘れによって悩まされることが多い。
我々は、ニューロン活性化パターンを普遍的なプロキシとして活用し、微調整ライフサイクルを統一する全体的枠組みであるNGFT(Neuron-Guided Fine-Tuning)を提案する。
論文 参考訳（メタデータ） (2026-09-05T06:13:24Z) - Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。
AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。
10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-01-27T17:53:01Z) - Diffusion-Based Generation of Neural Activity from Disentangled Latent Codes [1.9544534628180867]
本稿では,条件付き生成モデリングの進歩を生かしたニューラルデータ解析手法を提案する。
我々は,高情報付きコードに基づくニューラル・オブザーバ生成と呼ばれるモデルを時系列ニューラル・データに適用する。
VAEベースのシーケンシャルオートエンコーダと比較して、GNOCCHIは、鍵となる振る舞い変数に関してより明確に構造化され、よりゆがみのある高品質な潜在空間を学習する。
論文 参考訳（メタデータ） (2024-07-30T21:07:09Z) - Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。
我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
論文 参考訳（メタデータ） (2024-06-06T10:38:01Z) - Out-of-Distribution Detection using Neural Activation Prior [15.673290330356194]
アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。
OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。
提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-28T08:45:07Z) - A Differentiable Partially Observable Generalized Linear Model with
Forward-Backward Message Passing [2.600709013150986]
既存の作業で用いられるスコア関数勾配推定器よりも優れたパスワイズ勾配推定器を実現できる新しい微分可能なPOGLMを提案する。
我々の新しい手法はより解釈可能なパラメータをもたらし、神経科学におけるその重要性を裏付ける。
論文 参考訳（メタデータ） (2024-02-02T09:34:49Z) - Supervised Feature Selection with Neuron Evolution in Sparse Neural
Networks [17.12834153477201]
スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。
スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。
NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
論文 参考訳（メタデータ） (2023-03-10T17:09:55Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳（メタデータ） (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。