論文の概要: One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context

• arxiv url: http://arxiv.org/abs/2609.01311v1
• Date: Tue, 01 Sep 2026 14:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.768025
• Title: One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
• Title（参考訳）: 近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近
• Authors: Skanda Athreya, Yutong Wang,
• Abstract要約: argmax分類ヘッドを持つ一層変圧器は,マルチクラス設定における一層近傍変圧器と同一の挙動を示す。 これは、従来の作業によって残されたギャップを埋め、そのマルチクラスの結果は、標準でない丸めベースのアプローチに依存していた。
• 参考スコア（独自算出の注目度）: 5.45146896262121
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We extend recent work establishing an equivalence between one-layer transformers and nearest-neighbor classifiers in the binary setting to the multiclass case. By leveraging the simplex encoding, we show that one-layer transformers with an argmax classification head behave identically to a one-nearest-neighbor classifier in the multiclass setting. This closes a gap left by prior work, whose multiclass result relied on a non-standard rounding-based approach rather than the typical argmax head used in practice.
• Abstract（参考訳）: 本研究は,二元集合における一層変圧器と最近傍の分類器の同値性を確立するための最近の研究を,多クラスの場合へ拡張する。 単純な符号化を利用して、argmax分類ヘッドを持つ一層変圧器は、マルチクラス設定における一層近傍の分類器と同一に振る舞うことを示す。 これは、従来の作業で残されたギャップを埋めるものであり、そのマルチクラスの結果は、実際に使用される典型的なargmaxヘッドではなく、非標準の丸めベースのアプローチに依存していた。

関連論文リスト

• CAARMA: Class Augmentation with Adversarial Mixup Regularization [59.938216853878636]
  話者検証は典型的なゼロショット学習課題である。 クラス拡張フレームワークであるCAARMAを紹介する。 当社のフレームワークは,すべてのベースラインモデルに対して,8%の大幅な改善を実現しています。
  論文  参考訳（メタデータ） (2025-03-20T21:41:16Z)
• Bidirectional Logits Tree: Pursuing Granularity Reconcilement in Fine-Grained Classification [89.20477310885731]
  本稿では,粒度分類タスクにおけるグラニュラリティコンペティションの課題について述べる。 既存のアプローチは通常、共通のベースエンコーダから抽出された共有特徴に基づいて、独立した階層認識モデルを開発する。 グラニュラリティ再構成のための双方向ロジットツリー(BiLT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T10:42:19Z)
• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Generating Multi-Center Classifier via Conditional Gaussian Distribution [7.77615886942767]
  実世界のデータでは、1つのクラスは複数の局所的なクラスタ(例えば異なるポーズの鳥)を含むことができる。 各クラスに対して条件付きガウス分布を作成し、次に複数のサブセンターをサンプリングする。 このアプローチにより、モデルがクラス内の局所構造をより効率的にキャプチャできる。
  論文  参考訳（メタデータ） (2024-01-29T08:06:33Z)
• Enhancing Classification with Hierarchical Scalable Query on Fusion Transformer [0.4129225533930965]
  本稿では,学習可能な独立クエリ埋め込みによる階層的手法により,きめ細かい分類を向上する手法を提案する。 階層構造の概念を利用して、あらゆるレベルにわたってスケーラブルなクエリの埋め込みを学びます。 本手法は, 細粒度分類において, 従来の手法よりも11%の精度で性能を向上できる。
  論文  参考訳（メタデータ） (2023-02-28T11:00:55Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer [112.95747173442754]
  数ショットのセマンティックセグメンテーションモデルは典型的にはCNNエンコーダ、CNNデコーダ、単純な分類器から構成される。 既存のほとんどのメソッドは、新しいクラスに迅速に適応するために、3つのモデルコンポーネント全てをメタ学習する。 本稿では,最も単純なコンポーネントである分類器にのみ焦点をあてて,メタ学習タスクの簡略化を提案する。
  論文  参考訳（メタデータ） (2021-08-06T10:20:08Z)
• Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation [25.114533037440896]
  本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。 平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-02T03:00:13Z)
• Adversarial Multi-Binary Neural Network for Multi-class Classification [19.298875915675502]
  マルチタスクフレームワークを使用して、マルチクラス分類に対処する。 我々は,クラス固有の特徴とクラスに依存しない特徴を識別するために,対人訓練を実践する。
  論文  参考訳（メタデータ） (2020-03-25T02:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。