論文の概要: Label Collapse in Diffusion Language Model In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.16839v1
• Date: Mon, 12 Oct 2026 14:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:16:38.609579
• Title: Label Collapse in Diffusion Language Model In-Context Learning
• Title（参考訳）: 拡散言語モデルを用いた文脈学習におけるラベルの崩壊
• Abstract要約: In-context Learning (ICL)は、いくつかのラベル付きデモをクエリに先立って、大きな言語モデルを新しいタスクに適用する。 モデルがクエリ非依存ラベルを生成するフェールモードとしてラベル崩壊を定義する。 テスト対象の8-9Bスケールでは,アーキテクチャ的に普遍的であることを示す。
• 参考スコア（独自算出の注目度）: 5.598584056032923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) applies large language models to new tasks by prepending a few labeled demonstrations to a query. Prior work has studied how demonstration ordering affects ICL, but the interaction between label arrangement patterns and model biases has not been systematically examined. We define label collapse as the failure mode in which the model generates query-independent labels, and show that it is architecturally universal at the tested 8-9B scale: five models spanning autoregressive (Llama-3, Qwen3.5) and discrete diffusion (LLaDA, iLLaDA, LLaDA-Instruct) families all exhibit label collapse even under the class-balanced alternating arrangement, with some label word pairs collapsing in virtually every tested condition and others flipping their collapse direction with arrangement. Critically, accuracy alone cannot detect this collapse: models can achieve near-chance accuracy while generating query-independent labels, a score indistinguishable from balanced performance, so the failure can persist undetected in deployment. We measure separation, the log-odds of the two label words at the query position (the quantity that label-bias calibration operates on), as a complementary diagnostic that exposes collapse hidden beneath surface accuracy, together with a measurement protocol that guards label extraction against tokenizer and formatting artifacts. For autoregressive models, collapse persists where the majority-label-bias account does not apply, and arrangement patterns can reverse the collapse direction; for diffusion models, we present a systematic evaluation of ICL failure modes, complementing contemporaneous studies of dLLM context comprehension and demonstration-order sensitivity, and identify open questions about how iterative denoising interacts with label biases.
• Abstract（参考訳）: In-context Learning (ICL)は、いくつかのラベル付きデモをクエリに先立って、大きな言語モデルを新しいタスクに適用する。 先行研究は実演順序がICLにどのように影響するかを研究してきたが、ラベル配置パターンとモデルバイアスとの相互作用は体系的に検討されていない。 自動回帰(Llama-3, Qwen3.5)と離散拡散(LLaDA, iLLaDA, LLaDA-Instruct)にまたがる5つのモデルは全て、クラスバランスの交互配置の下でもラベルの崩壊を示す。 モデルはクエリ非依存のラベルを生成しながら、ほぼ精度の精度を達成することができ、スコアはバランスの取れたパフォーマンスと区別できないため、デプロイ時に検出されない障害を持続することができる。 我々は,2つのラベル単語の問合せ位置(ラベルバイアス校正が行う量)におけるログオードの分離を,識別器に対するラベル抽出とフォーマットアーティファクトに対するラベル抽出を保護した測定プロトコルとともに,表面精度の下に隠れた崩壊を露呈する相補的診断として測定する。 自己回帰モデルでは、多数-ラベル-バイアスのアカウントが適用されない場合の崩壊は継続し、配置パターンは崩壊方向を逆転させることができる。拡散モデルでは、ICL故障モードの体系的評価、dLLMコンテキスト理解と実演-順序感度の同時研究を補完し、反復的復調がラベルバイアスとどのように相互作用するかというオープンな質問を識別する。

関連論文リスト

• A Novel Method to Evaluate Models on Unreliable, Noisy and Inconsistent Labels: Adaptive Resolution Label Aggregation (ARLA) [0.0]
  アダプティブ・レゾリューション・ラベル・アグリゲーション(ARLA)は、ラベルとモデル予測の両方のレゾリューションを推論時に適応させる。 本研究では,実際の洪水予測モデルへの実用的な適用により,モデル挙動をよりよく解析するためにARLAをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2026-07-13T08:07:45Z)
• Towards Fairness under Label Bias in Image Segmentation: Impact, Measurement and Mitigation [10.15221228043609]
  ラベル付きデータセットはアノテーションパイプラインのバイアスを反映します。 本稿では,信頼学習のセグメンテーションへのデータ中心の適応を提案し,トレーニングデータから直接ラベルバイアスを検出する。 クリーンラベルへのアクセスなしに,我々のフレームワークがいかに確実にバイアスを検出し,緩和するかを示す。
  論文  参考訳（メタデータ） (2026-05-07T19:47:50Z)
• Informative missingness and its implications in semi-supervised learning [2.5794915063815664]
  半教師付き学習(SSL)はラベル付きデータと非ラベル付きデータの両方を用いて分類器を構成する。 これは、有限混合モデルに対する可能性フレームワーク内で統計的に定式化できる不完全データ問題を定義する。 このような情報不足をモデル化することは、実証的なSSLメソッドの振る舞いと可能性に基づく推論を統一するコヒーレントな統計フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-12-04T02:26:56Z)
• SSLfmm: An R Package for Semi-Supervised Learning with a Mixed-Missingness Mechanism in Finite Mixture Models [2.0253523660913664]
  半教師付き学習(SSL)は、観測のサブセットのみをラベル付けしたデータセットから分類器を構築する。 観察が損なわれない可能性は、その特徴ベクトルのあいまいさに依存する可能性があるため、不足過程は有益なものとなる。 このパッケージにはモデリングの実用的なツールが含まれており、シミュレートされた例を通してそのパフォーマンスを説明している。
  論文  参考訳（メタデータ） (2025-12-03T00:14:33Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。