論文の概要: Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers

• arxiv url: http://arxiv.org/abs/2608.14649v1
• Date: Thu, 30 Jul 2026 15:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.942003
• Title: Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers
• Title（参考訳）: 離散拡散言語モデルは訓練不要なマルチラベル分類器である
• Abstract要約: マルチラベルテキスト分類のための個別マスク付き拡散言語モデルを用いた訓練不要なdLLM-SetScoreを提案する。 各候補ラベルについて、短いイエス/ノー質問を行い、2つの回答トークンの確率を1つのマスクされた位置で比較する。
• 参考スコア（独自算出の注目度）: 1.3406606730449597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present dLLM-SetScore, a training-free method that uses discrete masked-diffusion language models for multi-label text classification. For each candidate label, it asks a short yes/no question and compares the probabilities of the two answer tokens at one masked position. The method uses no task-specific fine-tuning or training on textual-entailment datasets; a 200-example labelled validation slice selects thresholds, temperature, and prompt wording. We first show that placing all labels in one prompt creates a strong slot-position asymmetry: the first answer slot is predicted positive on $99.4\%$ of GoEmotions examples and $100\%$ of Reuters examples. Per-label scoring places every label in the same syntactic position, making predictions invariant to label order and avoiding this artifact. We evaluate LLaDA-8B and Dream-7B on six datasets against NLI models, an autoregressive LLM, SetFit, and supervised classifiers. On the five datasets shared by both diffusion families, Instruct checkpoints improve macro-F1 in 9 of 10 comparisons and micro-F1 in 8 of 10, although these comparisons do not identify the cause. Within our protocol, LLaDA-Instruct records the highest training-free values for both Reuters and ECtHR metrics. We prove permutation invariance, characterize thresholded decisions under weighted Hamming loss, and derive shortlist ceilings for recall and F1. An exploratory local Joint Set Refinement step lowers F1 from biased and unbiased initializations and is retained as a negative result.
• Abstract（参考訳）: マルチラベルテキスト分類のための個別マスク付き拡散言語モデルを用いた訓練不要なdLLM-SetScoreを提案する。 各候補ラベルについて、短いイエス/ノー質問を行い、2つの回答トークンの確率を1つのマスクされた位置で比較する。 200個のラベル付きバリデーションスライスでしきい値、温度、アクシデントワードを選択する。 最初に、全てのラベルを1つのプロンプトに配置すると、強いスロットポジションの非対称性が生じることを示す: 最初の応答スロットは、99.4\%のGoEmotionsの例と100\%のReutersの例で肯定的に予測される。 ラベル毎のスコアリングは、すべてのラベルを同じ構文的な位置に配置し、ラベル順に不変な予測を行い、このアーティファクトを避ける。 我々は,NLIモデル,自己回帰LDM,SetFit,教師付き分類器の6つのデータセットに対して,LLaDA-8BとDream-7Bを評価した。 いずれの拡散族も共有する5つのデータセットにおいて、インストラクションチェックポイントは10の9のマクロF1と10の8のマイクロF1を改良するが、これらの比較は原因を特定できない。 当社のプロトコルでは、LLaDA-InstructはReutersとECtHRの両方で、トレーニングなしの最高の値を記録しています。 我々は、置換不変性を証明し、ハミング損失の重み付けによるしきい値の決定を特徴付け、リコールとF1のためのショートリスト天井を導出する。 探索的局所的統合集合微細化ステップは、偏りや偏りのない初期化からF1を低下させ、負の結果として保持する。

関連論文リスト

• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• RAPT: Retrieval-Augmented Post-hoc Thresholding for Multi-Label Classification [1.2599533416395765]
  本稿では、RAPTという、デプロイメント指向の検索強化スコア閾値ラッパーを提案する。 RAPTは、類似性検索のための文書表現とラベルの信頼度スコアのモデルに依存しないラッパーである。 工業環境では、RAPTはメートル法学習者による最高の予測性能を達成し、0.87マクロF1に達した。
  論文  参考訳（メタデータ） (2026-05-15T18:31:04Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Multi-label Classification with Partial Annotations using Class-aware Selective Loss [14.3159150577502]
  大規模なマルチラベル分類データセットは、一般的に部分的に注釈付けされている。 部分的なラベリング問題を解析し、2つの重要なアイデアに基づいた解を提案する。 われわれの新しいアプローチにより、OpenImagesデータセット上で最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-21T08:10:55Z)
• Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
  本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。 入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
  論文  参考訳（メタデータ） (2021-09-12T19:33:34Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Instance Credibility Inference for Few-Shot Learning [45.577880041135785]
  ほとんどショットラーニングは、カテゴリごとに非常に限られたトレーニングデータを持つ新しいオブジェクトを認識することを目的としていない。 本稿では,未ラベルのインスタンスの分散サポートを数発の学習に活用するために,ICI (Instance Credibility Inference) と呼ばれる単純な統計手法を提案する。 我々の単純なアプローチは、広く使われている4つのショットラーニングベンチマークデータセットに基づいて、最先端の新たなデータセットを確立することができる。
  論文  参考訳（メタデータ） (2020-03-26T12:01:15Z)
• Rethinking Curriculum Learning with Incremental Labels and Adaptive Compensation [35.593312267921256]
  人間と同様に、ディープネットワークは、サンプルが組織化され、意味のある順序やカリキュラムで導入されたときに、よりよく学習することが示されている。 インクリメンタルラベルと適応補償を用いた学習(LILAC)を提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。