論文の概要: When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification

• arxiv url: http://arxiv.org/abs/2605.07120v1
• Date: Fri, 08 May 2026 01:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.731141
• Title: When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification
• Title（参考訳）: シンボル名が重要でないとき--新生シンボリック分類のロジスティック理論
• Authors: Wenjie Guan, Jelena Bradic,
• Abstract要約: この問題の固定ラベル分類バージョンについて検討し、列車と試験の例は遅延テンプレートを共有するが、不随意語彙を用いることがある。 次世代の予測とは異なり、モデルは目に見えないシンボルを出力する必要はない。 色付き衝突グラフによる偶発的トークン重複を符号化し、新しいシンボル分類のための高確率マージン・トランスファー保証を証明した。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Template tasks have emerged as a clean testbed for asking whether transformers reason with abstract symbols rather than concrete token names. We study the fixed-label classification version of this problem, where train and test examples share latent templates but may use disjoint vocabularies. Unlike next-token prediction, the model need not emit unseen symbols; it must learn a decision rule invariant to symbol renaming. We analyze regularized kernel logistic classification in the transformer-kernel regime. Our main result decomposes the learned predictor into an ideal template-level classifier and a finite-sample perturbation caused by accidental token overlaps in the training data. We encode these overlaps by a colored collision graph and prove high-probability margin-transfer guarantees for fresh-symbol classification. This perspective extends template-based analyses to logistic classification and refines scalar diversity conditions: vocabulary size controls the average rate of collisions, but collision geometry controls whether the ideal classification margin is preserved. More broadly, the same perturbation framework applies to abstraction-augmented inputs, yielding a general margin-versus-collision criterion for identifying when prompting strategies improve fresh-symbol generalization. Synthetic template experiments illustrate the predicted roles of regularization, sample size, and transformer-kernel structure.
• Abstract（参考訳）: テンプレートタスクは、具体的なトークン名ではなく抽象シンボルをトランスフォーマーが推論するかどうかを問う、クリーンなテストベッドとして登場した。 この問題の固定ラベル分類バージョンについて検討し、列車と試験の例は遅延テンプレートを共有するが、不随意語彙を用いることがある。 次世代の予測とは異なり、モデルは目に見えないシンボルを出力する必要はない。 トランスカーネルシステムにおけるカーネルロジスティックな正規化分類を解析する。 本研究の主な成果は,学習した予測器を理想的なテンプレートレベル分類器に分解し,学習データに誤ってトークンが重なることに起因する有限サンプル摂動を推定する。 我々はこれらのオーバーラップを色付き衝突グラフでエンコードし、新しいシンボル分類のための高い確率のマージン・トランスファー保証を証明した。 この視点は、テンプレートに基づく分析をロジスティックな分類に拡張し、スカラーな多様性条件を洗練させる:語彙サイズは衝突の平均速度を制御するが、衝突幾何学は理想的な分類限界が保存されているかどうかを制御する。 より広義には、同じ摂動フレームワークが抽象的拡張された入力に適用され、戦略の推進により新記号の一般化が改善されたときの識別のための一般的なマージン対衝突基準が得られる。 合成テンプレート実験は、正規化、サンプルサイズ、トランスフォーマー・カーネル構造の予測された役割を示す。

関連論文リスト

• Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
  大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。 推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。 頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
  論文  参考訳（メタデータ） (2026-04-29T07:06:43Z)
• Hierarchical Vector Quantized Transformer for Multi-class Unsupervised Anomaly Detection [24.11900895337062]
  教師なし画像異常検出(UAD)は、正常サンプルの堅牢かつ識別的な表現を学習することを目的としている。 本稿では,複数のクラスに統一されたフレームワークを構築することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-22T08:20:33Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。