論文の概要: How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection

• arxiv url: http://arxiv.org/abs/2610.27711v1
• Date: Tue, 20 Oct 2026 06:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.673651
• Title: How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection
• Title（参考訳）: LLM幻覚検出における形状層幅情報の微調整
• Abstract要約: テキストスクラストはタスク固有の識別方向を学習し、隠れた状態をクリアな2クラスタ形状にプッシュすることを示す。 対照的に、textscs2sは事前訓練された言語モデリングヘッドに依存している。 解析の結果, テキストセル信号は最終層の前に飽和し, その後上層が統計的に交換可能で, ほぼ冗長な表現の台地を形成することが明らかとなった。
• 参考スコア（独自算出の注目度）: 15.34458429809361
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Under matched conditions, classifier-head fine-tuning (\textsc{cls}) paradigm consistently outperforms the LLM-as-Judge sequence-to-sequence (\textsc{s2s}) on binary hallucination detection. We trace this gap to the representations induced by the two objectives. Static analysis shows that \textsc{cls} learns a task-specific discriminative direction, pushing hidden states into a clear two-cluster geometry with stronger class separation and linearly decodable label information. By contrast, \textsc{s2s} relies on the pretrained language-modeling head to make decisions. This minimizes the pressure to reorganize representations, leaving the hidden states much closer to the pretrained backbone. Our analysis also reveals that the \textsc{cls} signal saturates before the final layer, after which upper layers form a plateau of statistically interchangeable and largely redundant representations. However, endpoint redundancy alone does not show whether these layers are dispensable during training. Further training-dynamics analysis reveals 1) a lower pretrained substrate, 2) a narrow upper-middle \textbf{InfoWindow} where task information emerges, and 3) a later-synchronizing upper plateau that mirrors this signal. This mechanism motivates us to remove layers above the InfoWindow. Truncating 31\% of the network leaves accuracy unchanged within seed noise on Qwen3-4B and 8B and cuts latency by $1.4\times$. The same depth fraction, fixed before any analysis of the target models, transfers to Llama-3.2-3B and Mistral-7B-v0.3, and the layer structure behind it reappears there and on QNLI and SST-2. We hope this helps guide efficient task-specific LLM design.
• Abstract（参考訳）: 一致した条件下では、分類器ヘッドファインチューニング (\textsc{cls}) のパラダイムは、バイナリ幻覚検出において LLM-as-Judge シーケンス・ツー・シーケンス (\textsc{s2s}) よりも一貫して優れている。 このギャップは2つの目的によって引き起こされる表現に遡る。 静的解析により、textsc{cls} はタスク固有の識別方向を学習し、隠れた状態をより強力なクラス分離と線形デオード可能なラベル情報を持つクリアな2クラスター幾何学にプッシュすることを示した。 対照的に、 \textsc{s2s} は事前訓練された言語モデリングヘッドに依存している。 これにより、表現を再編成する圧力を最小化し、隠された状態は予め訓練されたバックボーンにかなり近いままになる。 解析の結果, 上層は最終層の前に飽和し, その後は統計的に交換可能で, ほぼ冗長な表現の台地を形成することが明らかとなった。 しかし、エンドポイントの冗長性だけでは、これらのレイヤがトレーニング中に不要であるかどうかを示さない。 さらなるトレーニング・力学解析が明らかに 1) 下位の事前訓練基板 2)タスク情報が出現する細い上中間者 \textbf{InfoWindow} 。 3) 後続の同期上高原で、この信号を反映している。 このメカニズムはInfoWindowの上のレイヤを削除する動機となります。 Qwen3-4B と 8B のシードノイズの範囲内で、ネットワークの 31\% を切断すると、レイテンシが 1.4\times$ に削減される。 ターゲットモデルの分析の前に固定された同じ深さの分画は、Llama-3.2-3BとMistral-7B-v0.3に転送され、その裏の層構造はQNLIとSST-2に再現れる。 このことが、効率的なタスク固有のLLM設計のガイドに役立つことを願っています。

関連論文リスト

• SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models [108.54713532551811]
  マルチレイヤのアンダーラインtextbfSemanticビジュアルトークン underlinetextbfPrununderlinetextbfIng と aunderlinetextbfDaptive sub-layunderlinetextbfER スキップ機構を統合したトレーニングフリーフレームワーク textbfSPIDER を提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:54:41Z)
• Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
  視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。 Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
  論文  参考訳（メタデータ） (2026-09-12T06:28:11Z)
• Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs [8.425980139753646]
  本稿では,レイヤワイドな3つの測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics (LRD)を提案する。 LRDを31モデルに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。
  論文  参考訳（メタデータ） (2026-05-12T20:22:45Z)
• LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories [1.4610038284393168]
  視覚変換器(ViT)の誤差予測に関する研究 大規模言語モデルにおける内信号幻覚検出の動機付けにより、類似の深度信号がViTに存在するかどうかを考察する。 中間層に軽量な線形ヘッドを付加することにより、予測クラスのロジットとトップK競合の両方をキャプチャする最後のL層から特徴を抽出する。 これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。
  論文  参考訳（メタデータ） (2026-04-12T13:43:40Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking [44.614763110719274]
  我々は、グルーキング現象、すなわち遅延一般化について研究する。 本稿では,2層非線形ネットワークのグルーキング動作の3つの重要な段階を捉える新しいフレームワークを提案する。 私たちの研究は、体重減少、学習率、グルーキングにおけるサンプルサイズといったハイパースの役割に光を当てています。
  論文  参考訳（メタデータ） (2025-09-25T20:08:09Z)
• Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
  We design an new end-to-end object-aware lifting approach, called Unified-Lift。 コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。 LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2025-03-18T08:42:23Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。