論文の概要: Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.30676v1
• Date: Thu, 22 Oct 2026 03:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.202633
• Title: Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
• Title（参考訳）: 大言語モデルにおけるスペクトル平滑化とスパイキング摂動再構成機能プロファイルと選択タスク性能
• Abstract要約: 変圧器フィードフォワード射影における重要な構造を符号化する特異値スペクトル。 本研究は,up_projおよびdown_proj行列のスペクトルスムージングとスパイキング介入について検討した。
• 参考スコア（独自算出の注目度）: 2.57930493006223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Singular-value spectra encode important structure in transformer feed-forward projections, yet their causal role in downstream behavior remains underexplored. We study post-hoc spectral smoothing and spiking interventions on the up_proj and down_proj matrices. Positive perturbation stretches deviations from the geometric mean, making large singular values larger and small ones smaller (spiking), and vice versa. The intervention preserves singular vectors and the geometric mean of the singular values. Across five open Llama and Qwen instruction models, we evaluate the perturbed systems on capability-labeled subtasks, standard and chain-of-thought reasoning benchmarks, judge-scored truthfulness, hallucination, and safety tasks, and TRAIT personality probes. To interpret score shifts, we fit responses in a three-dimensional capability basis consisting of factual knowledge, language understanding, and deductive reasoning. The induced changes suggest structured rather than purely random sensitivity: large positive perturbations more reliably suppress language and deductive responses, moderate negative perturbations can sometimes improve factual or task-local performance on the evaluated grids, and sensitivity varies strongly by model family, benchmark module, and underlying layerwise spectral inequality. These results position spectral perturbation as a lightweight intervention for probing how capabilities are organized and traded off in large language models.
• Abstract（参考訳）: 変圧器フィードフォワード射影における重要な構造を特異値スペクトルでエンコードするが、下流の挙動におけるそれらの因果的役割は未解明のままである。 本研究は,up_projおよびdown_proj行列のスペクトルスムージングとスパイキング介入について検討した。 正の摂動は幾何学的平均から逸脱を延長し、大きな特異値と小さい値(スポーキング)を小さくし、その逆を表わす。 この介入は特異ベクトルと特異値の幾何学的平均を保存する。 5つのオープンなLlamaとQwenの命令モデルを用いて,能力ラベル付きサブタスク,標準およびチェーンの推論ベンチマーク,判断された真理性,幻覚,安全タスク,TRAITパーソナリティプローブの摂動システムの評価を行った。 スコアシフトを解釈するために,事実知識,言語理解,帰納的推論からなる3次元能力ベースに応答を適合させる。 大きい正の摂動は言語や帰納的応答をより確実に抑制し、中程度の負の摂動は、評価されたグリッド上での事実またはタスク局所のパフォーマンスを改善することができ、感度はモデルファミリ、ベンチマークモジュール、下層のスペクトル不等式によって強く変化する。 これらの結果は、スペクトル摂動を、大きな言語モデルで機能がどのように組織化され、交換されるかを示すための軽量な介入として位置づけている。

関連論文リスト

• When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models [28.678246023804537]
  無関係なテキストが様々なベンチマークでモデル予測を常にバイアスしているのを観察する。 我々の分析は、文脈自由な文脈のアフィン規則性に従うような、頑健な幾何学的正則性を明らかにしている。 これらの所見はMLLMにおける無関係な文脈効果のマージンレベルの診断的見地を提供する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:01Z)
• FACTOR: Counterfactual Training-Free Test-Time Adaptation for Open-Vocabulary Object Detection [63.91351553178842]
  FACTORはオープン語彙オブジェクト検出のためのトレーニング不要なテスト時間適応である。 属性依存性の予測を選択的に抑制するために、属性の感度、意味的関連性、予測のバリエーションを定量化する。 PASCAL-C, COCO-C, FoggyCityscapes の実験では、FACTOR が従来の TTA 法より一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2026-05-05T02:31:18Z)
• SYNAPSE: Framework for Neuron Analysis and Perturbation in Sequence Encoding [4.507191680687611]
  医療やサイバーセキュリティのような敏感なドメインでは、透明性、信頼性、堅牢性を保証することが不可欠である。 この研究は、Transformerモデルの内部動作を理解しテストするための、体系的でトレーニング不要なフレームワークであるSynAPSEを提案する。
  論文  参考訳（メタデータ） (2026-03-09T14:18:47Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• Spectral Insights into Data-Oblivious Critical Layers in Large Language Models [7.486925126518052]
  我々は,事前調整言語モデルにおいて,本質的な臨界層を特定するためのデータ公開アプローチを提案する。 表現空間が著しく変化する層も微調整時に最も影響を受ける層であることを示す。
  論文  参考訳（メタデータ） (2025-05-31T04:21:39Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。