論文の概要: Neuro-RIT: Neuron-Guided Instruction Tuning for Robust Retrieval-Augmented Language Model

• arxiv url: http://arxiv.org/abs/2604.02194v1
• Date: Thu, 02 Apr 2026 15:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.899476
• Title: Neuro-RIT: Neuron-Guided Instruction Tuning for Robust Retrieval-Augmented Language Model
• Title（参考訳）: Neuro-RIT:Robust Retrieval-Augmented Language Modelのためのニューロンガイド型インストラクションチューニング
• Authors: Jaemin Kim, Jae O Lee, Sumyeong Ahn, Seo Yeon Park,
• Abstract要約: Neuro-RIT(Neuro-Guided Robust Instruction Tuning)は、高密度適応から精度駆動型ニューロンアライメントへパラダイムをシフトさせる新しいフレームワークである。 本手法は、属性に基づくニューロンマイニングを用いて、関連するコンテキストと無関係なコンテキストとを関連づけるニューロンを明示的に分離する。
• 参考スコア（独自算出の注目度）: 18.49378483853084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Language Models (RALMs) have demonstrated significant potential in knowledge-intensive tasks; however, they remain vulnerable to performance degradation when presented with irrelevant or noisy retrieved contexts. Existing approaches to enhance robustness typically operate via coarse-grained parameter updates at the layer or module level, often overlooking the inherent neuron-level sparsity of Large Language Models (LLMs). To address this limitation, we propose Neuro-RIT (Neuron-guided Robust Instruction Tuning), a novel framework that shifts the paradigm from dense adaptation to precision-driven neuron alignment. Our method explicitly disentangles neurons that are responsible for processing relevant versus irrelevant contexts using attribution-based neuron mining. Subsequently, we introduce a two-stage instruction tuning strategy that enforces a dual capability for noise robustness: achieving direct noise suppression by functionally deactivating neurons exclusive to irrelevant contexts, while simultaneously optimizing targeted layers for evidence distillation. Extensive experiments across diverse QA benchmarks demonstrate that Neuro-RIT consistently outperforms strong baselines and robustness-enhancing methods.
• Abstract（参考訳）: Retrieval-Augmented Language Models (RALMs) は知識集約型タスクにおいて大きな可能性を秘めている。 強靭性を高める既存のアプローチは、通常、層やモジュールレベルで粗いパラメータの更新を通じて動作し、大言語モデル(LLM)の固有のニューロンレベルの空間性を見渡す。 この制限に対処するため,ニューロRIT(Neuroon-Guided Robust Instruction Tuning)を提案する。 本手法は、属性に基づくニューロンマイニングを用いて、関連するコンテキストと無関係なコンテキストとを関連づけるニューロンを明示的に分離する。 続いて,無関係な文脈に限定したニューロンを機能的に活性化させることにより,直接雑音抑制を実現するとともに,目的の層を最適化して証拠蒸留を行う。 多様なQAベンチマークによる大規模な実験は、Neuro-RITが強いベースラインとロバストネス向上手法を一貫して上回っていることを示している。

関連論文リスト

• NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation [23.036082606498564]
  Low-Rank Adaptation (LoRA)は、下流タスクにLarge Language Models (LLM)を適用するために欠かせないものとなっている。 最近のFlyLoRAフレームワークは、バイオインスパイアされたスパースランダムプロジェクションを利用してパラメータ干渉を緩和する。 生体神経調節に触発された新しいMixture-of-Experts(MoE)ベースのLoRAフレームワークであるNeuroLoRAを提案する。 NeuroLoRAは、シングルタスク適応、マルチタスクモデルのマージ、シーケンシャルな連続学習シナリオにおいて、FlyLoRAや他の強力なベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-12T18:57:20Z)
• Robust Spiking Neural Networks Against Adversarial Attacks [49.08210314590693]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューロモルフィックコンピューティングにおいて有望なパラダイムである。 本研究では, 閾値近傍のスパイクニューロンが直接訓練されたSNNの堅牢性を制限する重要な要因であることを理論的に実証する。 これらのニューロンは、敵の攻撃の最大電位強度の上限を設定しており、小さな障害の下では状態降下する傾向にある。
  論文  参考訳（メタデータ） (2026-02-24T05:06:12Z)
• General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。 本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。 この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
  論文  参考訳（メタデータ） (2026-01-29T15:08:48Z)
• Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
  本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-27T17:53:01Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• NeuronTune: Fine-Grained Neuron Modulation for Balanced Safety-Utility Alignment in LLMs [19.133502330591092]
  本稿では,スパースニューロンを動的に調整し,安全性と実用性を同時に最適化するフレームワークであるNeuronTuneを提案する。 提案手法は、まず、属性を介して全層にわたる安全クリティカルかつ実用的保存ニューロンを特定し、メタラーニングを用いて、安全ニューロンの活性化を適応的に増幅し、実用ニューロンの活性化を抑制する。
  論文  参考訳（メタデータ） (2025-08-13T04:05:28Z)
• Mechanistic Interpretability of LoRA-Adapted Language Models for Nuclear Reactor Safety Applications [0.0]
  本稿では,大規模言語モデルがどのようにドメイン固有知識を符号化し利用しているかを解釈する新しい手法を提案する。 我々は、Low-Rank Adaptationと呼ばれるパラメータ効率の高い微調整技術を用いて、汎用LDMを核ドメインに適応させた。 基礎モデルのニューロンの活性化パターンと微調整モデルの活性化パターンを比較して,行動が著しく変化したスパースニューロン群を同定した。
  論文  参考訳（メタデータ） (2025-07-14T05:17:41Z)
• NeuronSeek: On Stability and Expressivity of Task-driven Neurons [19.773883759021764]
  プロトタイピングタスク駆動ニューロン(NeuronSeekと呼ばれる)は、最適なニューロンの定式化を発見するためにシンボリックレグレッション(SR)を用いる。 この研究は、最適な神経細胞の定式化を発見するために、シンボリック回帰をテンソル分解(TD)に置き換える。 我々は,任意の連続関数を任意に小さな誤差で近似するために,共通のアクティベーション関数でアグリゲーション関数を変更することで,パラメータの固定数のネットワークを拡張できることを理論的に保証する。
  論文  参考訳（メタデータ） (2025-06-01T01:36:27Z)
• Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。