論文の概要: Large Language Models Do Multi-Label Classification Differently

• arxiv url: http://arxiv.org/abs/2505.17510v2
• Date: Mon, 22 Sep 2025 20:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.647247
• Title: Large Language Models Do Multi-Label Classification Differently
• Title（参考訳）: 大規模言語モデルでは複数ラベルの分類が異なる
• Authors: Marcus Ma, Georgios Chochlakis, Niyantha Maruthu Pandiyan, Jesse Thomason, Shrikanth Narayanan,
• Abstract要約: 実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 自己回帰型LLMは,主観的タスクに着目し,マルチラベル分類を行うかを検討する。 第1ラベルの初期確率分布は最終的な出力を反映しないことが多い。
• 参考スコア（独自算出の注目度）: 41.60681320369492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-label classification is prevalent in real-world settings, but the behavior of Large Language Models (LLMs) in this setting is understudied. We investigate how autoregressive LLMs perform multi-label classification, focusing on subjective tasks, by analyzing the output distributions of the models at each label generation step. We find that the initial probability distribution for the first label often does not reflect the eventual final output, even in terms of relative order and find LLMs tend to suppress all but one label at each generation step. We further observe that as model scale increases, their token distributions exhibit lower entropy and higher single-label confidence, but the internal relative ranking of the labels improves. Finetuning methods such as supervised finetuning and reinforcement learning amplify this phenomenon. We introduce the task of distribution alignment for multi-label settings: aligning LLM-derived label distributions with empirical distributions estimated from annotator responses in subjective tasks. We propose both zero-shot and supervised methods which improve both alignment and predictive performance over existing approaches. We find one method -- taking the max probability over all label generation distributions instead of just using the initial probability distribution -- improves both distribution alignment and overall F1 classification without adding any additional computation.
• Abstract（参考訳）: 実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 本研究では,各ラベル生成ステップにおけるモデル出力分布を解析し,主観的タスクに着目し,自己回帰型LLMがマルチラベル分類を行う方法を検討する。 第1のラベルに対する初期確率分布は、相対次数の観点からも最終的な最終的な出力を反映しないことが多く、LLMは各生成ステップで1つのラベルを除く全てのラベルを抑圧する傾向にある。 さらに, モデルスケールが大きくなるにつれて, トークン分布はエントロピーが低く, シングルラベルの信頼性が高くなるが, ラベルの内部相対ランクは向上する。 教師付き微調整や強化学習などの微調整手法はこの現象を増幅する。 主観的タスクにおけるアノテータ応答から推定される経験的分布とLCM由来のラベル分布を整列する。 本稿では,既存手法よりもアライメントと予測性能を両立させるゼロショットと教師付き手法を提案する。 初期確率分布を使わずに、全てのラベル生成分布に対して最大確率をとる1つの手法は、追加の計算を加えることなく、分布アライメントと全体F1分類の両方を改善する。

関連論文リスト

• Learning Semantic-Aware Threshold for Multi-Label Image Recognition with Partial Labels [12.477433449244543]
  部分ラベル付きマルチラベル画像認識(MLR-PL)は、既知のラベルと未知のラベルを混合してモデルを訓練するように設計されている。 従来の手法は、識別されていないラベルの擬似ラベルを作成するために意味的あるいは特徴的相関に依存する。 本研究では,Semantic-Aware Threshold Learning (SATL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-31T05:54:10Z)
• Correlative and Discriminative Label Grouping for Multi-Label Visual Prompt Tuning [12.052388861361937]
  近年の研究では、ラベル間の共起関係が強調され、準最適モデルが導かれる。 ラベル間の相関関係と識別関係のバランスをとるためのマルチラベルビジュアルプロンプトチューニングフレームワークを提案する。 提案手法は,複数の事前学習モデルにおいて,競争結果とSOTA法より優れる。
  論文  参考訳（メタデータ） (2025-04-14T08:52:50Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• A Deep Model for Partial Multi-Label Image Classification with Curriculum Based Disambiguation [42.0958430465578]
  部分多重ラベル(PML)画像分類問題について検討する。 既存のPMLメソッドは通常、ノイズの多いラベルをフィルタリングするための曖昧な戦略を設計する。 本稿では,PMLの表現能力と識別能力を高めるための深層モデルを提案する。
  論文  参考訳（メタデータ） (2022-07-06T02:49:02Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。