論文の概要: Selective Neuron Amplification for Training-Free Task Enhancement

• arxiv url: http://arxiv.org/abs/2604.07098v1
• Date: Wed, 08 Apr 2026 13:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.565858
• Title: Selective Neuron Amplification for Training-Free Task Enhancement
• Title（参考訳）: 学習自由タスク強化のための選択的ニューロン増幅法
• Authors: Ryyan Akhtar,
• Abstract要約: 選択的ニューロン増幅は、モデルのパラメータを変更することなくタスク関連ニューロンの影響を増加させる。 これは、いくつかのモデルの失敗は、能力の欠如よりも活性化の弱いためであることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models often fail on tasks they seem to already understand. In our experiments, this appears to be less about missing knowledge and more about certain internal circuits not being strongly activated during inference. We explore Selective Neuron Amplification, which increases the influence of task relevant neurons without changing the model's parameters. The method works at inference time and does not permanently alter the model. SNA helps mainly when the model is uncertain, while having low effect when the model is already confident. This suggests that some model failures are due to weak activation rather than lack of capability.
• Abstract（参考訳）: 大規模な言語モデルは、既に理解していると思われるタスクで失敗することが多い。 我々の実験では、これは知識の欠如よりも、推論中に特定の内部回路が強く活性化されないということの方が少ないようである。 モデルパラメータを変更することなくタスク関連ニューロンの影響を増大させる選択的ニューロン増幅法について検討する。 この方法は推論時に機能し、永久にモデルを変更しない。 SNAは、モデルが不確実な場合を主に支援し、モデルがすでに自信を持っている場合、効果が低い。 これは、いくつかのモデルの失敗は、能力の欠如よりも活性化の弱いためであることを示している。

関連論文リスト

• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation [8.845660219190298]
  プルーニングアプローチは、モデルの決定に寄与しない低塩性ニューロンを求める。 この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンを検出することに成功しているかどうかを調査する。 これは、まず特定のニューロン(高次ニューロンと低次ニューロンからなる)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示している。
  論文  参考訳（メタデータ） (2020-01-06T19:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。