Fugu-MT 論文翻訳(概要): Sparse Neurons Carry Strong Signals of Question Ambiguity in LLMs

論文の概要: Sparse Neurons Carry Strong Signals of Question Ambiguity in LLMs

arxiv url: http://arxiv.org/abs/2509.13664v1
Date: Wed, 17 Sep 2025 03:34:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-18 18:41:50.70485
Title: Sparse Neurons Carry Strong Signals of Question Ambiguity in LLMs
Title（参考訳）: LLMにおける問合せの強いシグナルを伝達するスパースニューロン
Authors: Zhuoxuan Zhang, Jinhao Duan, Edward Kim, Kaidi Xu,
Abstract要約: 我々は,大言語モデル(LLM)の内部表現に不明瞭さが線形に符号化されていることを示す。我々は,LLMが質問あいまいさのコンパクトな内部表現を形成し,解釈可能かつ制御可能な振る舞いを可能にすることを示す。
参考スコア（独自算出の注目度）: 23.900061215331338
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ambiguity is pervasive in real-world questions, yet large language models (LLMs) often respond with confident answers rather than seeking clarification. In this work, we show that question ambiguity is linearly encoded in the internal representations of LLMs and can be both detected and controlled at the neuron level. During the model's pre-filling stage, we identify that a small number of neurons, as few as one, encode question ambiguity information. Probes trained on these Ambiguity-Encoding Neurons (AENs) achieve strong performance on ambiguity detection and generalize across datasets, outperforming prompting-based and representation-based baselines. Layerwise analysis reveals that AENs emerge from shallow layers, suggesting early encoding of ambiguity signals in the model's processing pipeline. Finally, we show that through manipulating AENs, we can control LLM's behavior from direct answering to abstention. Our findings reveal that LLMs form compact internal representations of question ambiguity, enabling interpretable and controllable behavior.
Abstract（参考訳）: 曖昧さは現実世界の質問では広まっていますが、大きな言語モデル(LLM)は明確化を求めるのではなく、自信を持って答えます。本研究では,LLMの内部表現に不明瞭さが線形に符号化されており,ニューロンレベルでも検出・制御可能であることを示す。モデルの事前充足段階において、少数のニューロンが、わずか1つで、問合せのあいまいさ情報を符号化していると同定する。これらのAmbiguity-Encoding Neurons(AEN)に基づいてトレーニングされたプローブは、あいまいさの検出とデータセット間の一般化において強力なパフォーマンスを実現し、プロンプトベースのベースラインと表現ベースのベースラインよりも優れています。レイヤワイズ分析により、AENは浅い層から出現し、モデルの処理パイプラインにおけるあいまいな信号の早期エンコーディングが示唆される。最後に, AENを操作することで, LLMの振舞いを, 直接応答から棄却まで制御できることを示す。この結果から,LLMは質問のあいまいさをコンパクトに表現し,解釈可能かつ制御可能な動作を可能にすることがわかった。

関連論文リスト

Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。この空間性-微分的関係は、様々なモデルや領域で観測可能である。
論文参考訳（メタデータ） (2026-03-03T18:48:15Z)
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures [12.466522376751811]
超次元プローブは、大規模言語モデルベクトル空間から情報を復号するための新しいパラダイムである。シンボリック表現とニューラルプローブのアイデアを組み合わせて、モデルの残留ストリームを解釈可能な概念に投影する。我々の研究は、LLMベクトル空間における情報復号化を進め、神経表現からより情報的、解釈可能、構造化された特徴を抽出することを可能にする。
論文参考訳（メタデータ） (2025-09-29T16:59:07Z)
When Truthful Representations Flip Under Deceptive Instructions? [28.51629358895544]
大規模言語モデル(LLM)は、偽りの応答を生成するために悪意のある命令に従う傾向がある。知覚的命令は、真理に富んだ命令と比較してLLMの内部表現を変化させる。我々の分析は、指示された不当さの階層的および特徴レベルの相関をピンポイントで示す。
論文参考訳（メタデータ） (2025-07-29T18:27:13Z)
Probing Neural Topology of Large Language Models [12.298921317333452]
本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
論文参考訳（メタデータ） (2025-06-01T14:57:03Z)
Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文参考訳（メタデータ） (2025-05-27T16:24:02Z)
HalluShift: Measuring Distribution Shifts towards Hallucination Detection in LLMs [14.005452985740849]
大規模言語モデル(LLM)は、最近、与えられたプロンプトに対する革新的な応答を生成できるため、広く注目を集めている。本研究では,LLMの内部動態から幻覚が生じると仮定する。本研究では,内部状態空間における分布変化を解析するための革新的アプローチであるHaluShiftを導入する。
論文参考訳（メタデータ） (2025-04-13T08:35:22Z)
Emergent Symbol-like Number Variables in Artificial Neural Networks [34.388552536773034]
単純化されたシンボリックアルゴリズム(SA)のレンズを用いて生のNN活性を解釈できることが示される。我々はDASフレームワークをより広範なアライメント関数のクラスに拡張し、SAからの解釈可能な変数の観点からNNアクティビティをより柔軟にキャプチャする。繰り返しモデルでは, 神経活動において, 次数的, 記号的数変数が生成できることが示されている。
論文参考訳（メタデータ） (2025-01-10T18:03:46Z)
Detecting LLM Hallucination Through Layer-wise Information Deficiency: Analysis of Ambiguous Prompts and Unanswerable Questions [60.31496362993982]
大規模言語モデル(LLM)は、自信を持って不正確な応答を頻繁に生成する。本稿では,情報フローの系統的解析を通じて,モデル幻覚を検出する新しいテストタイム手法を提案する。
論文参考訳（メタデータ） (2024-12-13T16:14:49Z)
Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文参考訳（メタデータ） (2024-05-26T22:30:29Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
The Curious Case of Hallucinatory (Un)answerability: Finding Truths in the Hidden States of Over-Confident Large Language Models [46.990141872509476]
本研究では,大言語モデル (LLM) の問合せ時の動作について検討する。この結果から,入力クエリの応答性を符号化したモデルが強く示唆され,最初の復号化トークンの表現が強い指標であることが示唆された。
論文参考訳（メタデータ） (2023-10-18T11:01:09Z)
Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [124.90671698586249]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。