論文の概要: The Hard Decision Layer: Evidence for Committed Inference in Transformers

• arxiv url: http://arxiv.org/abs/2607.21613v1
• Date: Mon, 25 May 2026 03:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.942626
• Title: The Hard Decision Layer: Evidence for Committed Inference in Transformers
• Title（参考訳）: ハード決定層:変圧器の圧縮推論の証拠
• Abstract要約: 提案する_Hard Decision Layer_(HDL)は,推論中に解答オプションランキングが突然安定化する自然的アーキテクチャ特性である。 以上の結果から,HDLの精度は,+0.61 (Qwen on CommonsenseQA) まで向上した。
• 参考スコア（独自算出の注目度）: 2.5782420501870296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate where and how transformer-based language models commit to predictions in multiple-choice question answering. We identify the _Hard Decision Layer_ (HDL), a natural architectural property where answer option rankings stabilize abruptly during inference. Empirical validation across four language models (Qwen, Llama, Granite, Mistral) and four benchmark datasets demonstrates consistent HDL emergence without learned routing policies. We also show that the HDL is invariant to fine-tuning. Our results reveal striking accuracy improvements at the HDL: up to +0.61 (Qwen on CommonsenseQA), after which performance stabilizes. Systematic ablations on label formats and problem complexity confirm the phenomenon is fundamental to model architecture. These findings offer mechanistic insights into transformer inference and suggest opportunities for efficient reasoning and model steering. All code and results required to reproduce this work are available in https://github.com/Mystic-Slice/hard-decision-layer
• Abstract（参考訳）: 本稿では,トランスフォーマーに基づく言語モデルが,複数質問応答における予測にどのようにコミットするかについて検討する。 提案する_Hard Decision Layer_(HDL)は,推論中に解答オプションランキングが突然安定化する自然的アーキテクチャ特性である。 4つの言語モデル(Qwen、Llama、Granite、Mistral)と4つのベンチマークデータセットによる実証的な検証は、ルーティングポリシを学ぶことなく、一貫したHDLの出現を示す。 また,HDLは微調整に不変であることを示す。 以上の結果から,HDLの精度は最大+0.61(Qwen on CommonsenseQA)に向上し,性能は安定した。 ラベル形式と問題複雑性に関する体系的な改善は、この現象がモデルアーキテクチャの基本であることを証明している。 これらの発見は、トランスフォーマー推論に関する機械的な洞察を与え、効率的な推論とモデルステアリングの機会を提案する。 この作業を再現するために必要なコードと結果は、https://github.com/Mystic-Slice/hard-decision-layerで確認できる。

関連論文リスト

• Sparse Visual Thought Circuits in Vision-Language Models [2.5754366051855837]
  我々はQwen3-VL-8Bにおける疎視的思考回路の局所化とテストを行う因果パイプラインを開発した。 この層でSAEを訓練し、明示的な規則でタスク選択集合を構築し、精度とドリフトを定量化しながら推論時間スケーリングとアブレーションを行う。
  論文  参考訳（メタデータ） (2026-03-26T06:24:36Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Fourier Head: Helping Large Language Models Learn Complex Probability Distributions [7.074506869260538]
  フーリエ級数を用いて構築されたニューラルネットワーク層を導入し,出力がより連続的な構造であれば,任意の線形層に置換することができる。 我々は,大規模な意思決定や時系列予測タスクと同様に,合成データセットの広範な分析を行う。 提案したフーリエヘッドは,基礎となるデータ分布が自然な連続構造を持つシナリオにおいて有効である。
  論文  参考訳（メタデータ） (2024-10-29T17:27:58Z)
• When should we prefer Decision Transformers for Offline Reinforcement Learning? [29.107029606830015]
  オフラインRLのための3つの一般的なアルゴリズムは、保守的Q-Learning(CQL)、振舞いクローン(BC)、決定変換器(DT)である。 本稿では,これらのアルゴリズムの性能を,一般的なD4RLとロブミミシティのベンチマークで検証することによって実証的に検討する。 DTのデータ量を5倍にすることで,Atariの平均スコアが2.5倍向上することがわかった。
  論文  参考訳（メタデータ） (2023-05-23T22:19:14Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Understanding Prior Bias and Choice Paralysis in Transformer-based Language Representation Models through Four Experimental Probes [8.591839265985412]
  先行バイアスや選択麻痺などの問題を調べるための4つの混乱プローブを提示する。 このモデルでは,他の問題に加えて,事前バイアスや選択麻痺の程度が小さいが,なおかつ重要な程度に有意な偏見が示される。 この結果から,言語モデルがフロントエンドシステムや意思決定に使用される前に,より強力なテストプロトコルや追加ベンチマークが必要になる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-03T22:36:44Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。