論文の概要: When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification

• arxiv url: http://arxiv.org/abs/2605.07120v1
• Date: Fri, 08 May 2026 01:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.731141
• Title: When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification
• Title（参考訳）: シンボル名が重要でないとき--新生シンボリック分類のロジスティック理論
• Abstract要約: この問題の固定ラベル分類バージョンについて検討し、列車と試験の例は遅延テンプレートを共有するが、不随意語彙を用いることがある。 次世代の予測とは異なり、モデルは目に見えないシンボルを出力する必要はない。 色付き衝突グラフによる偶発的トークン重複を符号化し、新しいシンボル分類のための高確率マージン・トランスファー保証を証明した。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Template tasks have emerged as a clean testbed for asking whether transformers reason with abstract symbols rather than concrete token names. We study the fixed-label classification version of this problem, where train and test examples share latent templates but may use disjoint vocabularies. Unlike next-token prediction, the model need not emit unseen symbols; it must learn a decision rule invariant to symbol renaming. We analyze regularized kernel logistic classification in the transformer-kernel regime. Our main result decomposes the learned predictor into an ideal template-level classifier and a finite-sample perturbation caused by accidental token overlaps in the training data. We encode these overlaps by a colored collision graph and prove high-probability margin-transfer guarantees for fresh-symbol classification. This perspective extends template-based analyses to logistic classification and refines scalar diversity conditions: vocabulary size controls the average rate of collisions, but collision geometry controls whether the ideal classification margin is preserved. More broadly, the same perturbation framework applies to abstraction-augmented inputs, yielding a general margin-versus-collision criterion for identifying when prompting strategies improve fresh-symbol generalization. Synthetic template experiments illustrate the predicted roles of regularization, sample size, and transformer-kernel structure.
• Abstract（参考訳）: テンプレートタスクは、具体的なトークン名ではなく抽象シンボルをトランスフォーマーが推論するかどうかを問う、クリーンなテストベッドとして登場した。 この問題の固定ラベル分類バージョンについて検討し、列車と試験の例は遅延テンプレートを共有するが、不随意語彙を用いることがある。 次世代の予測とは異なり、モデルは目に見えないシンボルを出力する必要はない。 トランスカーネルシステムにおけるカーネルロジスティックな正規化分類を解析する。 本研究の主な成果は,学習した予測器を理想的なテンプレートレベル分類器に分解し,学習データに誤ってトークンが重なることに起因する有限サンプル摂動を推定する。 我々はこれらのオーバーラップを色付き衝突グラフでエンコードし、新しいシンボル分類のための高い確率のマージン・トランスファー保証を証明した。 この視点は、テンプレートに基づく分析をロジスティックな分類に拡張し、スカラーな多様性条件を洗練させる:語彙サイズは衝突の平均速度を制御するが、衝突幾何学は理想的な分類限界が保存されているかどうかを制御する。 より広義には、同じ摂動フレームワークが抽象的拡張された入力に適用され、戦略の推進により新記号の一般化が改善されたときの識別のための一般的なマージン対衝突基準が得られる。 合成テンプレート実験は、正規化、サンプルサイズ、トランスフォーマー・カーネル構造の予測された役割を示す。

関連論文リスト

• Causal dictionary learning reveals and validates transcription-factor binding features in genomic language models [5.237172334460829]
  ゲノム基盤モデルにおいて、スパース辞書学習と因果介入を組み合わせて、解釈可能な特徴を抽出し、検証し、因果的にテストする枠組みを導入する。 位置重み行列に対するこれらの特徴の素性検証は,GC合成と反復的要素によって著しく整合されていることを示す。 我々は,特定の特徴が,単にモチーフの存在ではなく,細胞型特異的TF結合を表現するために機能的に用いられていることを確認した。
  論文  参考訳（メタデータ） (2026-07-21T22:54:46Z)
• Emergent retokenization symmetry in large language models: phenomenology and applications [3.055499449876386]
  我々はプロンプトの標準トークン化を、そのバイトを正確に保存しながら、代替セグメンテーションに置き換える。 我々は、事前学習と後学習にまたがる意味的に同一の入力表現に対する感度と堅牢性を研究するために、再学習を用いる。 この再帰的サンプリング戦略は, 簡単な問題に対して性能を損なう可能性があるが, 従来のサンプリングでは見つからない解の回収も可能である。
  論文  参考訳（メタデータ） (2026-06-14T00:38:50Z)
• Weakly Supervised Segmentation as Semantic-Based Regularization [5.8837215684098645]
  弱教師付きセマンティックセグメンテーション(WSSS)は、部分的または粗いアノテーションから高密度ピクセルレベルのセグメンテーションモデルを訓練する。 我々は、微分可能なファジィ論理と深いセグメンテーションモデルを統合するという、ニューロシンボリックな視点を採っている。 論理誘導による微調整により、高品質な擬似ラベルが得られ、最先端のセグメンテーションがもたらされることを示す。
  論文  参考訳（メタデータ） (2026-05-13T15:33:27Z)
• Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
  大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。 推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。 頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
  論文  参考訳（メタデータ） (2026-04-29T07:06:43Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Hierarchical Vector Quantized Transformer for Multi-class Unsupervised Anomaly Detection [24.11900895337062]
  教師なし画像異常検出(UAD)は、正常サンプルの堅牢かつ識別的な表現を学習することを目的としている。 本稿では,複数のクラスに統一されたフレームワークを構築することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-22T08:20:33Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。