Fugu-MT 論文翻訳(概要): You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model

論文の概要: You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model

arxiv url: http://arxiv.org/abs/2608.14465v1
Date: Fri, 14 Aug 2026 16:44:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.444921
Title: You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model
Title（参考訳）: 一度だけパスする:解答と解答を、凍結した言語モデルの単一の前方通過で行う
Abstract要約: 本稿は、これらを同一の残留流上で処理する2つの研究線を統合する。条件付きステアリングプローブは、ストリームを中層に書き込み、凍結したバックボーンから推論精度を回復する。 YOPO(You Only Pass Once)は、凍結したQwen2.5のバックボーンの1つの前方パスに答え、ステア、およびアブテンを答える。
参考スコア（独自算出の注目度）: 9.92799001840128
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A frozen language model on reasoning tasks has two coupled weaknesses: it under-uses evidence its own residual stream already encodes, and it fails to detect when the input is insufficient to answer, so it confabulates. This paper consolidates two research lines that address these on the same residual stream: a conditional steering probe writes the stream at mid-stack layers and recovers reasoning accuracy from a frozen backbone, and a zero-shot sufficiency direction reads the stream and abstains when information is insufficient. Deployed in one forward pass they interfere: the steering write shifts the state the direction reads, costing up to 8 AUROC points of cross-domain transfer on small models; a separate clean pass doubles inference cost. We keep the direction fixed and train a small network to reconstruct the pre-steering residual from the steered one -- mean-squared error on (steered, clean) pairs, no sufficiency labels -- and read the direction on the reconstruction. The resulting system, YOPO (You Only Pass Once), answers, steers, and abstains in one forward pass of a frozen Qwen2.5 backbone (1.5B/3B/7B). End to end, three-way accuracy more than doubles the frozen baseline (0.375->0.798 on 1.5B alphaNLI) and one pass beats the two-pass reference at every scale (0.798/0.830/0.893 vs 0.753/0.790/0.863) and on ten backbones across six model families. We chart the capacity-transfer frontier quantifying the principle that abstention should not be trained in; a source-side audit catches our own alphaNLI construction leaking a surface artifact, so architectural claims are anchored on native-label replications (SQuAD2, RepLiQA, MuSiQue); and on the standard four-domain suite we contribute, to our knowledge, the first answer-or-abstain benchmark, where our gate tops every in-domain dataset and the label-free direction is the only gate family to survive domain transfer.
Abstract（参考訳）: 推論タスク上の凍結された言語モデルには、2つの結合した弱点がある。それは、すでに自身の残余ストリームがエンコードされている証拠をアンダーユースし、入力が応答できないことを検知できないため、それを分解する。条件付きステアリングプローブが中高層でストリームを書き込み、凍結したバックボーンから推論精度を回復し、ゼロショットの十分性方向がストリームを読み取って、情報が不十分な場合に停止する。ステアリングライトは、方向が読み込まれる状態をシフトし、小さなモデルで最大8AUROCのクロスドメイン転送ポイントをコストとして、別々のクリーンパスは推論コストを2倍にします。私たちは、方向を固定し、小さなネットワークをトレーニングして、ステアリングされたものから(ステアリングされた、クリーンな)ペアの平均2乗誤差を復元し、十分なラベルなしで、復元の方向を読み取る。結果、YOPO(You Only Pass Once)は、凍結したQwen2.5バックボーン(1.5B/3B/7B)の1つの前方通過で応答、ステア、アブスタンスを行う。結局のところ、三方向精度はフリーズベースライン(1.5B alphaNLIでは0.375->0.798)を2倍にし、各スケール(0.798/0.830/0.893対0.753/0.790/0.863)で2パス基準を破り、6つのモデルファミリの10のバックボーンに到達している。ソース側監査は、表面アーティファクトをリークする独自のαNLI構造をキャッチするので、アーキテクチャ上のクレームは、ネイティブラベルレプリケーション(SQuAD2、RepLiQA、MuSiQue)に固定されます。

関連論文リスト

ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。モデル自身の失敗から両方を得るReDraftを紹介します。
論文参考訳（メタデータ） (2026-09-15T04:59:03Z)
Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
論文参考訳（メタデータ） (2026-08-12T09:04:54Z)
The Ignition Is Real, and It Lives at the Readout: Latent composition, difficulty-clocked ignition, and the interface-constituted commit in a recurrent-depth reasoner [0.0]
我々は、潜時推論モデルで報告される「複合点火」が実計算なのか、楽器の人工物なのか、あるいは言語訓練データから継承されるのかを検証する。到着時刻は問題深度とともに合法的に上昇し、解像度は鋭く保たれ、シグネチャは2つの同じシードの実現を通して再現される。
論文参考訳（メタデータ） (2026-08-04T07:35:38Z)
Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。答えの正しさはあらゆるレベルで問題を構成する。
論文参考訳（メタデータ） (2026-07-26T04:43:53Z)
What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文参考訳（メタデータ） (2026-06-19T06:04:17Z)
Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文参考訳（メタデータ） (2026-06-02T06:51:15Z)
Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations [5.218766876318545]
LLMのアクティベーションをトレーニングした線形プローブは、騙し検出指標としてますます提案されているが、AUROCは分布シフトの下で崩壊しながらクリーンなベンチマークで0.96を超えることを報告している。本稿では, Gemma 3 モデルファミリ(1B-27B パラメータ)における圧力-プローブ-ベースの測定値について, 系統的に検討する。 1) 単線方向, (2) 多次元部分空間, (3) 凸円錐殻, (4) エントロピープロキシの4つの仮説を検証した。
論文参考訳（メタデータ） (2026-05-27T04:51:55Z)
BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。両課題に対処する統合フレームワークであるBadCLIP++を提案する。ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文参考訳（メタデータ） (2026-02-19T08:31:16Z)
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文参考訳（メタデータ） (2025-12-22T16:34:21Z)
RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文参考訳（メタデータ） (2025-11-27T07:20:52Z)
Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文参考訳（メタデータ） (2024-05-01T12:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。