論文の概要: In Machina N400: Pinpointing Where a Causal Language Model Detects Semantic Violations

• arxiv url: http://arxiv.org/abs/2511.19232v1
• Date: Mon, 24 Nov 2025 15:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.281559
• Title: In Machina N400: Pinpointing Where a Causal Language Model Detects Semantic Violations
• Title（参考訳）: Machina N400: 因果的言語モデルがセマンティックな違反を検知するピンポイント
• Authors: Christos-Nikolaos Zacharopoulos, Revekka Kyriakoglou,
• Abstract要約: コーパスを用いて因果語モデル (phi-2) の評価を行った。 そこで, 線形プローブを用いた層間検出を行った。
• 参考スコア（独自算出の注目度）: 0.11458853556386796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How and where does a transformer notice that a sentence has gone semantically off the rails? To explore this question, we evaluated the causal language model (phi-2) using a carefully curated corpus, with sentences that concluded plausibly or implausibly. Our analysis focused on the hidden states sampled at each model layer. To investigate how violations are encoded, we utilized two complementary probes. First, we conducted a per-layer detection using a linear probe. Our findings revealed that a simple linear decoder struggled to distinguish between plausible and implausible endings in the lowest third of the model's layers. However, its accuracy sharply increased in the middle blocks, reaching a peak just before the top layers. Second, we examined the effective dimensionality of the encoded violation. Initially, the violation widens the representational subspace, followed by a collapse after a mid-stack bottleneck. This might indicate an exploratory phase that transitions into rapid consolidation. Taken together, these results contemplate the idea of alignment with classical psycholinguistic findings in human reading, where semantic anomalies are detected only after syntactic resolution, occurring later in the online processing sequence.
• Abstract（参考訳）: トランスフォーマーはどうやって、ある文が意味的にレールから外れたことに気付くのか? この問題を調査するため,慎重に整理したコーパスを用いて因果語モデル (phi-2) を評価した。 分析では,各モデル層でサンプリングされた隠れ状態に着目した。 違反のエンコード方法を検討するために,2つの補完プローブを用いた。 まず,線形プローブを用いた層間検出を行った。 以上の結果より, 単純な線形デコーダは, モデルの3分の1の層において, 可塑性端と可解端の区別に苦慮していることが明らかとなった。 しかし、その精度は中間ブロックで急上昇し、最上層の直前にピークに達した。 第2に,符号化された違反の有効寸法について検討した。 当初、違反は表現部分空間を拡大し、続いて中央スタックボトルネックの後に崩壊した。 これは、急激な統合へと移行する探索段階を示すかもしれない。 これらの結果は、人間の読解において古典的な心理言語学的発見と整合するという考えを考察し、そこでは、意味的異常は、構文的解決後にのみ検出され、後にオンライン処理シーケンスで発生する。

関連論文リスト

• GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
  GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。 本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。 提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T09:27:41Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• STAR Loss: Reducing Semantic Ambiguity in Facial Landmark Detection [80.04000067312428]
  本稿では,意味的あいまいさの特性を利用した自己適応型あいまいさ低減(STAR)の損失を提案する。 意味的あいまいさは異方性予測分布をもたらすことが分かり、予測分布を用いて意味的あいまいさを表現する。 また,分布の異常変化とモデルの初期収束を回避できる2種類の固有値制限法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T10:33:25Z)
• DQS3D: Densely-matched Quantization-aware Semi-supervised 3D Detection [6.096961718434965]
  本研究では,3次元屋内空間の散在を考慮し,半教師付き3次元物体検出の課題について検討する。 我々は,最近セミ教師付き学習の顕著な進歩を招いた,堅牢で原則化された自己学習の枠組みに頼っている。 そこで本研究では,空間的に密集したトレーニング信号を可能にする,最初の半教師付き3次元検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T17:59:54Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Reference-based Defect Detection Network [57.89399576743665]
  最初の問題はテクスチャシフトであり、これはトレーニングされた欠陥検出モデルが目に見えないテクスチャの影響を受けやすいことを意味する。 第2の問題は部分的な視覚的混乱であり、部分的な欠陥ボックスが完全なボックスと視覚的に類似していることを示している。 本稿では,これら2つの問題に対処する参照型欠陥検出ネットワーク(RDDN)を提案する。
  論文  参考訳（メタデータ） (2021-08-10T05:44:23Z)
• Anomalous entities detection using a cascade of deep learning models [2.9005223064604078]
  本稿では,試験ホールの複雑な状況において異常を検知する新しい手法を提案する。 提案手法は,深層畳み込みニューラルネットワークモデルのカスケードを用いる。 提案手法は異常な物体を検知し,異常な挙動を高精度に保証できることを示す。
  論文  参考訳（メタデータ） (2021-03-09T01:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。