論文の概要: Logit Leakage through Floating-Point Bias Addition
- arxiv url: http://arxiv.org/abs/2610.16790v1
- Date: Mon, 12 Oct 2026 13:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.380241
- Title: Logit Leakage through Floating-Point Bias Addition
- Title（参考訳）: 浮動小数点バイアス付加によるログリーク
- Abstract要約: 言語モデルAPIは、ロジットやトークンの確率を保ちながら、トークン固有のバイアスを公開することができる。
浮動小数点バイアス加算における数値側チャネルを同定し,トークンの同一性のみを通じて,この成分に関する情報を公開する。
- 参考スコア（独自算出の注目度）: 2.3741312212138896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language model APIs can expose token-specific biases while withholding logits and token probabilities. Existing bias-based extraction recovers relative logits, leaving a common additive component undetermined in ideal arithmetic. We identify a numerical side channel in floating-point bias addition that exposes information about this component through token identities alone. The channel distinguishes score vectors with identical complete unperturbed log probabilities. Our method exploits changes in representable spacing at binary exponent boundaries. Under the stated binary32 arithmetic assumptions and a known reachable score interval, it recovers a logit pair and its unknown tie-breaking priority exactly in at most 52 token queries. Given complete relative logits, one recovered anchor determines the original logit vector. We evaluate recovery across 11 public checkpoints from seven model families and extend the local method with adaptive interval search and anchor selection. In end-to-end experiments with vLLM, SGLang, and llama.cpp, adaptive recovery succeeds on all 128 Qwen3-0.6B inputs per system, including 64 held-out inputs. A separate token-only experiment extracts a pretrained small model's complete output-head representation up to an invertible hidden-basis transformation. We also establish a sufficient condition for suppressing common-shift disclosure by subtracting the maximum before bias addition. In controlled experiments, this mitigation eliminates all observed distinctions between common-shift variants and preserves token decisions under the tested random biases.
- Abstract（参考訳）: 言語モデルAPIは、ロジットやトークンの確率を保ちながら、トークン固有のバイアスを公開することができる。
既存のバイアスベースの抽出は相対ロジットを回復し、共通加法成分は理想的な算術では決定されない。
浮動小数点バイアス加算における数値側チャネルを同定し,トークンの同一性のみを通じて,この成分に関する情報を公開する。
このチャンネルは、完全に摂動しないログ確率を持つスコアベクトルを区別する。
提案手法は,バイナリ指数境界における表現可能な間隔の変化を利用する。
記述されたbinary32演算の仮定と既知の到達可能なスコア間隔の下で、52のトークンクエリにおいて、ロジットペアとその未知のタイブリング優先度を正確に回復する。
完全な相対ロジットが与えられたとき、復元されたアンカーが元のロジットベクトルを決定する。
7つのモデルファミリーから11の公開チェックポイントにわたるリカバリを評価し,適応的な間隔探索とアンカー選択による局所的手法を拡張した。
vLLM、SGLang、llama.cppによるエンドツーエンドの実験では、64のホールドアウト入力を含む128のQwen3-0.6B入力に対してアダプティブリカバリが成功する。
トークンのみの実験は、訓練済みの小さなモデルの完全な出力ヘッド表現を非可逆な隠れ基底変換まで抽出する。
また、バイアス付加前の最大値を減じることで、共通シフト開示を抑制するための十分な条件を確立した。
制御された実験では、この緩和は共通シフト変種間の観測されたすべての区別を排除し、テストされたランダムバイアスの下でトークン決定を保存する。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - What Fixed-Rollout pass@k Evaluations Can Identify [3.0318216701273397]
繰り返しサンプリング評価は、問題毎に収集されたサンプル数nをはるかに超え、pass@kを外挿する。
プール/ランダム・タスク条件付きビノミカルモデルでは、固定nの成功回数は、潜在タスク毎の成功分布の n 自由モーメントのみを識別する。
論文 参考訳（メタデータ） (2026-09-08T10:27:52Z) - Differentiable Interval Bottlenecks for Interpretable Anomaly Detection in Numerical Data [0.5213778368155993]
DIFFINTは、遅延ボトルネックがソフトな軸方向のインターバルメンバシップのセットとして構成されるオートエンコーダである。
統計的にタイトされた7つの方法のリードクラスターの中で唯一の解釈可能な検出器である。
論文 参考訳（メタデータ） (2026-09-03T14:05:27Z) - Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳（メタデータ） (2026-08-11T07:58:17Z) - Bayesian Wind Tunnels for Model Selection [0.4779196219827507]
変圧器は固定仮説クラス内で正確にベイズフィルタを行うことができることを示す。
離散統計学が算術を必要とする場合、モデル選択は整数トークンで成功する。
定常性制御は、安定なセマンティクスであり、整数のアイデンティティではなく回路のコンパイルを可能にする。
論文 参考訳（メタデータ） (2026-07-01T04:05:08Z) - Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。
学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。
信頼性トレースの形状に基づく相補的診断を提案する。
論文 参考訳（メタデータ） (2026-05-31T04:25:36Z) - Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
2つの制御された設定で強みのみの仮説をテストする。
実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。
実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
論文 参考訳（メタデータ） (2026-03-17T18:02:28Z) - Consistency-guided semi-supervised outlier detection in heterogeneous data using fuzzy rough sets [45.9876416284051]
Outlier Detectionは、データの大部分と異なる振る舞いをするサンプルを見つけることを目的としている。
半教師付き検出法は部分ラベルの監督を利用でき、偽陽性率を低減できる。
半教師付き方式でファジィ粗セット理論を用いた不均一データに対する一貫性誘導型外乱検出アルゴリズム(COD)を提案する。
論文 参考訳（メタデータ） (2025-12-22T02:41:08Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳（メタデータ） (2021-09-12T19:33:34Z) - Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。
我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。
まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
論文 参考訳（メタデータ） (2020-08-19T16:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。