論文の概要: SALSA: Single-pass Autoregressive LLM Structured Classification

• arxiv url: http://arxiv.org/abs/2510.22691v1
• Date: Sun, 26 Oct 2025 14:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.549977
• Title: SALSA: Single-pass Autoregressive LLM Structured Classification
• Title（参考訳）: SALSA:シングルパス自動回帰LDM構造分類
• Authors: Ruslan Berdichevsky, Shai Nahum-Gefen, Elad Ben Zaken,
• Abstract要約: 本稿では,構造化プロンプト,クラスツーツーケンマッピング,パラメータ効率の高い微調整を組み合わせたコヒーレントパイプラインであるSALSAを紹介する。 推論中、モデルの出力は関連するクラストークンのロジットにのみ投影され、単一のフォワードパスにおける効率的かつ正確な分類を可能にする。
• 参考スコア（独自算出の注目度）: 1.9371675344367494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their impressive generalization capabilities, instruction-tuned Large Language Models often underperform on text classification benchmarks. We introduce SALSA, a coherent pipeline that combines structured prompting, class-to-token mapping, and parameter-efficient fine-tuning, thereby avoiding cold-start training. Each class label is mapped to a distinct output token, and prompts are constructed to elicit a single-token response. During inference, the model's output is projected only onto the logits of the relevant class tokens, enabling efficient and accurate classification in a single forward pass. SALSA achieves state-of-the-art results across diverse benchmarks, demonstrating its robustness and scalability for LLM-based classification applications.
• Abstract（参考訳）: 優れた一般化機能にもかかわらず、命令で調整された大規模言語モデルは、しばしばテキスト分類のベンチマークでは性能が劣る。 本研究では,構造化プロンプト,クラスツーツーケンマッピング,パラメータ効率の高い微調整を組み合わせたコヒーレントパイプラインであるSALSAを導入し,コールドスタートトレーニングを回避した。 各クラスラベルは別個の出力トークンにマッピングされ、プロンプトは単一トークンの応答を引き出すように構成される。 推論中、モデルの出力は関連するクラストークンのロジットにのみ投影され、単一のフォワードパスにおける効率的かつ正確な分類を可能にする。 SALSAは様々なベンチマークにまたがって最先端の結果を達成し、LSMベースの分類アプリケーションに対する堅牢性とスケーラビリティを実証している。

関連論文リスト

• Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches [0.0]
  我々は、リソース制約下での下流テキスト分類のためのLLM(Large Language Models)を微調整する戦略について検討する。 1)事前訓練した因果LLMに分類ヘッドをアタッチしてタスクを微調整し,(2)分類のためのプロンプト>応答形式でLSMを指導する,という2つの手法を検討した。
  論文  参考訳（メタデータ） (2025-12-14T13:02:06Z)
• Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification [0.2799896314754614]
  大規模言語モデル(LLM)を用いた効率的な多言語テキスト分類手法を提案する。 単一の構造化された応答で全てのラベルを生成する代わりに、各ターゲット次元は独立してクエリされる。 この結果から,マルチラベル分類をダイコトミッククエリに分解することで,スケーラブルで効率的なフレームワークが提供されることが示唆された。
  論文  参考訳（メタデータ） (2025-11-05T19:53:51Z)
• Hierarchical Representation Matching for CLIP-based Class-Incremental Learning [80.2317078787969]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、進化するデータストリームに継続的に適応可能なモデルを提供することを目的とする。 事前訓練された視覚言語モデル(例えばCLIP)の最近の進歩は、このタスクの強力な基盤を提供する。 本稿では,CLIPベースのCILのためのHiErarchical Representation MAtchiNg(HERMAN)を紹介する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:51Z)
• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• Label-Guided In-Context Learning for Named Entity Recognition [14.63059248497416]
  In-context Learning (ICL) では、大規模な言語モデルで新しいタスクを実行することができる。 トークンレベルの統計情報を用いてトレーニングラベルを活用する新しい手法であるDEERを導入し、ICLの性能を向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:54:32Z)
• CAARMA: Class Augmentation with Adversarial Mixup Regularization [59.938216853878636]
  話者検証は典型的なゼロショット学習課題である。 クラス拡張フレームワークであるCAARMAを紹介する。 当社のフレームワークは,すべてのベースラインモデルに対して,8%の大幅な改善を実現しています。
  論文  参考訳（メタデータ） (2025-03-20T21:41:16Z)
• Self-Regularization with Sparse Autoencoders for Controllable LLM-based Classification [29.74457390987092]
  大規模言語モデル(LLM)潜在空間における意図しない特徴を特定し,規則化する新しいフレームワークを提案する。 本稿では,有毒なチャット検出,報酬モデリング,疾患診断を含む3つの実世界の課題に関する枠組みについて検討する。
  論文  参考訳（メタデータ） (2025-02-19T22:27:59Z)
• SPIN: Sparsifying and Integrating Internal Neurons in Large Language Models for Text Classification [6.227343685358882]
  本稿では,テキスト分類のための大規模言語モデルの中間層の内部ニューロンを分散・統合するモデルに依存しないフレームワークを提案する。 SPINはテキスト分類の精度、効率、解釈可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-11-27T16:28:20Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• MCTformer+: Multi-Class Token Transformer for Weakly Supervised Semantic Segmentation [90.73815426893034]
  弱教師付きセマンティックセグメンテーションの強化を目的としたトランスフォーマーベースのフレームワークを提案する。 複数のクラストークンを組み込んだマルチクラストークン変換器を導入し,パッチトークンとのクラス認識インタラクションを実現する。 識別型クラストークンの学習を促進するために,Contrastive-Class-Token (CCT)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:30:20Z)
• Token-level Sequence Labeling for Spoken Language Understanding using Compositional End-to-End Models [94.30953696090758]
  音声合成言語理解システムを構築した。 ASRのために訓練された中間デコーダを頼りにすることで、私たちのエンドツーエンドシステムは、入力モダリティを音声からトークンレベルの表現に変換する。 我々のモデルは、名前付きエンティティ認識のラベル付けタスクにおいて、カスケードモデルと直接エンド・ツー・エンドモデルの両方より優れている。
  論文  参考訳（メタデータ） (2022-10-27T19:33:18Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• MGIMN: Multi-Grained Interactive Matching Network for Few-shot Text Classification [9.9875634964736]
  テキスト分類は、クラスごとにラベル付きテキストインスタンスがほとんどない、目に見えないクラスに一般化するのに苦労する。 本稿では,メタラーニングに基づくMGIMNを提案する。
  論文  参考訳（メタデータ） (2022-04-11T08:58:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。