論文の概要: Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.06429v1
- Date: Wed, 05 Aug 2026 20:58:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.246624
- Title: Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models
- Title(参考訳): 大規模言語モデルにおける失語症画像命名誤りプロファイルからの病変パラメータの復元
- Abstract要約: ニューラルネットワークをトレーニングして、エラープロファイルを摂動パラメータにマップします。
回収されたパラメータを持つ新しいモデルインスタンスは81.4%のケースでターゲットの振る舞いを再現した。
この低層回復と高反ファクト忠実度の間の摂動は、変圧器層間の機能的冗長性と一致している。
- 参考スコア(独自算出の注目度): 6.5285083214226125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability methods for large language models (LLMs) describe internal state but do not directly test whether that state is causally sufficient to produce the observed behavior. In earlier work, we lesioned LLMs to produce error profiles in picture naming, a central task for assessing aphasia, and found that specific lesions produced errors resembling those of individual stroke survivors. Here we ask the inverse question: given an error profile, can the lesion parameters that produced it be recovered, and what does this inverse problem reveal about transformer computation? Lesions in LLaVA-Vicuna 13B were parameterized by layer index, modification percentage, and noise sigma across 4,840 configurations, and error profiles were characterized by a seven-category clinical taxonomy (correct, semantic, unrelated, formal, mixed, neologism, no-response). We trained a multi-task neural network to map error profiles back to perturbation parameters. The problem admitted a partial solution: across 10 independently trained inverse models, modification percentage and noise sigma were recoverable, whereas layer index was recoverable only within a neighborhood. In counterfactual validation, a fresh model instance perturbed with the recovered parameters reproduced the target behavior in 81.4% of cases. This dissociation between low layer recovery and high counterfactual fidelity is consistent with functional redundancy across transformer layers, a property not captured by standard interpretability methods. As an out-of-distribution test, we applied the trained model to picture-naming error profiles from 278 stroke survivors; recovered parameters were syndrome-discriminative, most strongly for perturbation intensity, indicating generalization beyond the training distribution. Counterfactual validation provides a general framework for LLM interpretability claims beyond inverse mapping.
- Abstract(参考訳): 大規模言語モデル(LLM)の解釈可能性法は内部状態を記述するが、その状態が観察された振る舞いを生成するのに十分なかどうかを直接検査しない。
従来の研究では,失語症評価の中心的課題である画像命名における誤りプロファイルの生成にLLMを留置し,特定の病変が個々の脳卒中生存者と類似した誤りを生じたことを発見した。
ここでは, 誤差プロファイルが与えられた場合, 発生した病変パラメータを復元することは可能か, この逆問題はトランスフォーマー計算に関して何を明らかにするのか,という質問を行う。
LLaVA-Vicuna 13Bの病変は4,840の構成で層指数,修正率,ノイズシグマでパラメータ化され,エラープロファイルは7つのカテゴリーの臨床分類(正しい,意味的,無関係,形式的,混合,ネオロジズム,非応答)によって特徴づけられた。
我々はマルチタスクニューラルネットワークをトレーニングし、エラープロファイルを摂動パラメータにマッピングした。
10個の独立に訓練された逆モデル、修正率、ノイズシグマが回復可能であり、層指数は近傍でのみ回復可能であった。
事実検証では、回収されたパラメータで摂動した新しいモデルインスタンスが81.4%のケースでターゲットの振る舞いを再現した。
低層リカバリと高反ファクト忠実度とのこの解離は、標準的な解釈可能性法では得られない特性であるトランスフォーマー層間の機能的冗長性と一致している。
278名のストローク生存者から得られた画像の誤りプロファイルにトレーニングモデルを応用し, 回復パラメータはシンドローム識別的であり, 摂動強度が最も強く, トレーニング分布を超えた一般化が示唆された。
対実検証は、逆写像を超えた LLM 解釈可能性主張のための一般的なフレームワークを提供する。
関連論文リスト
- Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。
テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。
我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
論文 参考訳(メタデータ) (2026-06-15T16:25:07Z) - Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior [0.0]
人間の認知の多様性が行動から回復し、LSMエージェントに移行できるかどうかを問う。
Nousは、実際のポリマーケット取引活動から構造化された8次元の行動プロファイルを抽出し、プロンプトを通じてエージェントに注入する。
我々は,Nousを認知的モノカルチャー問題と即時治療の限界を計測するものとして位置づける。
論文 参考訳(メタデータ) (2026-06-11T08:18:25Z) - From Residuals to Reasons: LLM-Guided Mechanism Inference from Tabular Data [10.795877029195845]
科学的応用のための機械学習における永続的な課題は、予測と理解を共同で達成することである。
マルチエージェント残差文脈学習(MARICL)を導入する。
MARICLは、すべてのデータセットのベースモデルに対して一貫して改善されている。
論文 参考訳(メタデータ) (2026-05-21T15:34:08Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。
まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。
そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
論文 参考訳(メタデータ) (2026-03-08T01:06:07Z) - Stroke Lesions as a Rosetta Stone for Language Model Interpretability [6.528508321422611]
本稿では、大規模な言語モデルを評価するための外部参照構造として、Brain-LLM Unified Model(BLUM)を提案する。
慢性期脳卒中後失語患者のデータを用いて,行動的エラープロファイルから脳損傷位置を予測する症状・症状・症状モデルを構築した。
BLUMのエラープロファイルは、偶然に一致したヒトの実際の病変に対応するような、人間のエラープロファイルと十分に類似していた。
論文 参考訳(メタデータ) (2026-02-03T23:22:37Z) - Task Shift: From Classification to Regression in Overparameterized Linear Models [5.030445392527011]
類似したデータ分布の下で、潜伏知識がより困難なタスクに転送される現象について検討する。
分類のための最小ノルム補間器は、事前回帰に転送できないが、驚くほど構造化された減衰を経験し、限られた追加データでタスクシフトを成功させることができることを示した。
以上の結果から,最小ノルム補間器は事前回帰に移行できないが,意外な構造的減衰を経験し,限られたデータでタスクシフトを成功させることができた。
論文 参考訳(メタデータ) (2025-02-18T21:16:01Z) - Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。
我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
論文 参考訳(メタデータ) (2024-07-11T17:52:03Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳(メタデータ) (2024-05-01T12:03:39Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral
Fracture Grading [72.45699658852304]
本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。
フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。
重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
論文 参考訳(メタデータ) (2023-03-21T17:16:01Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳(メタデータ) (2023-01-02T06:16:56Z) - Interpretable (not just posthoc-explainable) medical claims modeling for
discharge placement to prevent avoidable all-cause readmissions or death [2.198760145670348]
我々は回帰係数の変動を表現するために本質的に解釈可能な多レベルベイズフレームワークを開発した。
我々は,この枠組みを用いて,医療クレームを用いた生存モデルを定式化し,入院と死亡を予測した。
2009-2011年の入院エピソードに基づいて、2008年と2011年の医療受給者の5%のサンプルを用いてモデルを訓練し、2012年のエピソードでモデルを検証した。
論文 参考訳(メタデータ) (2022-08-28T06:19:32Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。