論文の概要: Training-Free versus Training-Based Intent Classification in LLMs: Accuracy, Robustness, and Failure Modes
- arxiv url: http://arxiv.org/abs/2608.02415v1
- Date: Mon, 03 Aug 2026 15:53:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.686348
- Title: Training-Free versus Training-Based Intent Classification in LLMs: Accuracy, Robustness, and Failure Modes
- Title（参考訳）: LLMにおけるトレーニングフリーとトレーニングベースインテント分類:正確性、ロバスト性、障害モード
- Authors: Nan Chen, Zhouhao Yang, Soufiane Hayou,
- Abstract要約: 我々は、意図分類のためのトレーニングフリーとトレーニングベースアプローチを比較した。
学習の自由な手法は、混合インテリジェントや敵対的なプロンプトに対してより堅牢であることがわかった。
- 参考スコア（独自算出の注目度）: 16.695022020234262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intent classification in Large Language Models (LLMs) involves categorizing user prompts into predefined classes. For instance, given a user prompt, the system must determine whether it primarily concerns mathematics, coding, or general text processing. Such classification enables routing prompts to specialized models optimized for specific domains, improving both accuracy and computational efficiency. In this work, we conduct a systematic study comparing training-free vs training-based approaches for intent classification. For this purpose, we consider two lightweight, training-free methods based on statistics of internal representations and compare them against MLP classifiers and linear probes. Our comprehensive empirical evaluation reveals that 1) Both training-free and training-based methods saturate easy benchmarks (mathematics vs. coding vs. natural language), 2) Training-based classifiers have an advantage on harder classification tasks (e.g. Java vs Python), and 3) Training-free methods are generally more robust to mixed-intent and adversarial prompts.
- Abstract（参考訳）: 大規模言語モデル(LLM)におけるインテント分類は、ユーザープロンプトを事前に定義されたクラスに分類する。
例えば、ユーザープロンプトが与えられたら、システムはそれが主に数学、コーディング、あるいは一般的なテキスト処理に関係しているかを判断しなければならない。
このような分類により、特定のドメインに最適化された特殊なモデルへのルーティングプロンプトが可能になり、精度と計算効率が向上する。
本研究では,意図分類のための学習自由と学習ベースアプローチを比較した系統的研究を行う。
そこで本研究では,内部表現の統計に基づく2つの軽量な学習自由手法について検討し,MDP分類器と線形プローブとの比較を行った。
私たちの総合的な経験的評価は、それを明らかにします
1) トレーニングフリーとトレーニングベースの両方の手法は、簡単なベンチマーク(数学対コーディング対自然言語)を飽和させる。
2) トレーニングベースの分類器は、より難しい分類タスク(例えば、JavaとPython)に利点がある。
3) 学習自由法は一般的に, 混合インテリジェントや敵対的プロンプトに対してより堅牢である。
関連論文リスト
- The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳（メタデータ） (2026-03-11T19:51:33Z) - Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods [23.6050988823262]
Machine Unlearning(MU)は、トレーニングされたモデルからターゲットトレーニングデータを削除して、削除されたデータがモデルの振る舞いにもはや影響を与えないようにすることを目的としている。
しかし、この急速に発展する分野の研究者たちは、異なるMUメソッドの振る舞いを分析し、理解する上で困難に直面している。
MU手法の体系的評価を容易にするために,視覚解析システムUnlearning Comparatorを導入する。
論文 参考訳（メタデータ） (2025-08-18T08:53:53Z) - GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。
提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
論文 参考訳（メタデータ） (2025-08-11T06:22:25Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Smooth Ranking SVM via Cutting-Plane Method [6.946903076677842]
我々は,AUCを最大化するために,Randing SVMと類似した切削平面法に依存するプロトタイプ学習手法を開発した。
本アルゴリズムは,切削面を反復的に導入することで,より単純なモデルを学ぶ。
73のバイナリ分類データセットを用いて行った実験から,本手法は競合する25のデータセットの中で最高のAUCが得られる。
論文 参考訳（メタデータ） (2024-01-25T18:47:23Z) - Efficient Training of One Class Classification-SVMs [0.0]
そこで本研究では,一級分類の実施に高効率なトレーニング手法を用いることを検討した。
本稿では,デュアルソフトマージンワンクラスSVM学習のための効果的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-28T15:35:16Z) - Class-Incremental Learning with Generative Classifiers [6.570917734205559]
本稿では,クラス増分学習のための新しい戦略を提案する。
本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。
ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
論文 参考訳（メタデータ） (2021-04-20T16:26:14Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳（メタデータ） (2020-11-04T23:33:41Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。