論文の概要: Large Language Models Do Multi-Label Classification Differently

• arxiv url: http://arxiv.org/abs/2505.17510v1
• Date: Fri, 23 May 2025 06:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.857146
• Title: Large Language Models Do Multi-Label Classification Differently
• Title（参考訳）: 大規模言語モデルでは複数ラベルの分類が異なる
• Authors: Marcus Ma, Georgios Chochlakis, Niyantha Maruthu Pandiyan, Jesse Thomason, Shrikanth Narayanan,
• Abstract要約: 実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 本研究では,各生成ステップにおけるモデルの出力分布を解析し,主観的タスクに着目し,自己回帰型LLMがマルチラベル分類を行う方法について検討する。 これらの予測行動は、各ステップで1つのラベルを除く全てのラベルを抑圧する傾向にあるため、関連するラベルを生成するために必要な言語モデリングにおける複数のステップを反映している。
• 参考スコア（独自算出の注目度）: 27.818253292071386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-label classification is prevalent in real-world settings, but the behavior of Large Language Models (LLMs) in this setting is understudied. We investigate how autoregressive LLMs perform multi-label classification, with a focus on subjective tasks, by analyzing the output distributions of the models in each generation step. We find that their predictive behavior reflects the multiple steps in the underlying language modeling required to generate all relevant labels as they tend to suppress all but one label at each step. We further observe that as model scale increases, their token distributions exhibit lower entropy, yet the internal ranking of the labels improves. Finetuning methods such as supervised finetuning and reinforcement learning amplify this phenomenon. To further study this issue, we introduce the task of distribution alignment for multi-label settings: aligning LLM-derived label distributions with empirical distributions estimated from annotator responses in subjective tasks. We propose both zero-shot and supervised methods which improve both alignment and predictive performance over existing approaches.
• Abstract（参考訳）: 実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 本研究では,各生成ステップにおけるモデルの出力分布を解析し,主観的タスクに着目し,自己回帰型LLMがマルチラベル分類を行う方法について検討する。 これらの予測行動は、各ステップで1つのラベルを除く全てのラベルを抑圧する傾向にあるため、関連するラベルを生成するために必要な言語モデリングにおける複数のステップを反映している。 さらに, モデルスケールが大きくなるにつれて, トークン分布のエントロピーは低下するが, ラベルの内部ランキングは向上する。 教師付き微調整や強化学習などの微調整手法はこの現象を増幅する。 そこで本研究では,マルチラベル設定におけるアノテータ応答から推定される経験的分布と LLM 由来のラベル分布の整合性について検討する。 本稿では,既存手法よりもアライメントと予測性能を両立させるゼロショットと教師付き手法を提案する。

関連論文リスト

• Correlative and Discriminative Label Grouping for Multi-Label Visual Prompt Tuning [12.052388861361937]
  近年の研究では、ラベル間の共起関係が強調され、準最適モデルが導かれる。 ラベル間の相関関係と識別関係のバランスをとるためのマルチラベルビジュアルプロンプトチューニングフレームワークを提案する。 提案手法は,複数の事前学習モデルにおいて,競争結果とSOTA法より優れる。
  論文  参考訳（メタデータ） (2025-04-14T08:52:50Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• A Deep Model for Partial Multi-Label Image Classification with Curriculum Based Disambiguation [42.0958430465578]
  部分多重ラベル(PML)画像分類問題について検討する。 既存のPMLメソッドは通常、ノイズの多いラベルをフィルタリングするための曖昧な戦略を設計する。 本稿では,PMLの表現能力と識別能力を高めるための深層モデルを提案する。
  論文  参考訳（メタデータ） (2022-07-06T02:49:02Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。