論文の概要: Active Slice Discovery in Large Language Models

• arxiv url: http://arxiv.org/abs/2511.20713v1
• Date: Mon, 24 Nov 2025 23:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.779446
• Title: Active Slice Discovery in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるアクティブスライス発見
• Authors: Minhui Zhang, Prahar Ijner, Yoav Wald, Elliot Creager,
• Abstract要約: 大規模言語モデル(LLM)は、しばしばエラースライスとして知られるデータの特定のサブセットに対して体系的なエラーを示す。 我々は、この手法をActive Slice Discoveryとして定式化し、毒性分類において人間の定義したスライスを発見するという問題を経験的に探求する。 その結果,不確実性に基づく能動学習アルゴリズムが最も有効であることが判明した。
• 参考スコア（独自算出の注目度）: 7.451724049125496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often exhibit systematic errors on specific subsets of data, known as error slices. For instance, a slice can correspond to a certain demographic, where a model does poorly in identifying toxic comments regarding that demographic. Identifying error slices is crucial to understanding and improving models, but it is also challenging. An appealing approach to reduce the amount of manual annotation required is to actively group errors that are likely to belong to the same slice, while using limited access to an annotator to verify whether the chosen samples share the same pattern of model mistake. In this paper, we formalize this approach as Active Slice Discovery and explore it empirically on a problem of discovering human-defined slices in toxicity classification. We examine the efficacy of active slice discovery under different choices of feature representations and active learning algorithms. On several slices, we find that uncertainty-based active learning algorithms are most effective, achieving competitive accuracy using 2-10% of the available slice membership information, while significantly outperforming baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしばエラースライスとして知られるデータの特定のサブセットに対して体系的なエラーを示す。 例えば、スライスは特定の人口層に対応でき、モデルはその人口層に関する有毒なコメントを特定するのに不十分である。 モデルの理解と改善にはエラースライスを特定することが不可欠だが、これも難しい。 手動アノテーションの量を減らすための魅力的なアプローチは、同じスライスに属する可能性のあるエラーを積極的にグループ化し、アノテータへの限られたアクセスを使用して、選択したサンプルが同じモデルミスパターンを共有しているかどうかを検証することである。 本稿では,本手法をActive Slice Discoveryとして定式化し,毒性分類におけるヒト定義スライス発見の課題を実証的に探求する。 特徴表現と能動的学習アルゴリズムの異なる選択の下で,能動的スライス発見の有効性を検討する。 いくつかのスライスでは、不確実性に基づく能動学習アルゴリズムが最も有効であり、利用可能なスライスメンバーシップ情報の2～10%を用いて競合精度を達成し、ベースラインを著しく上回っている。

関連論文リスト

• Error Slice Discovery via Manifold Compactness [47.57891946791078]
  事前に定義されたスライスラベルのような余分な情報に頼ることなく、スライスコヒーレンスの適切なメトリックは存在しない。 本稿では,データ幾何特性を設計に組み込むことにより,余分な情報に依存しないコヒーレンス計量である多様体コンパクト性を提案する。 そこで我々は,リスクとコヒーレンスを直接最適化対象とする新しいアルゴリズムであるManifold Compactness based error Slice Discovery (MCSD)を開発した。
  論文  参考訳（メタデータ） (2025-01-31T11:02:07Z)
• What Is Wrong with My Model? Identifying Systematic Problems with Semantic Data Slicing [44.370871446919594]
  セマンティックデータスライシングをサポートするフレームワークであるSemSlicerを提案する。 SemSlicerは低コストで正確なスライスを生成し、性能の低いデータスライスを確実に識別し、実践者が体系的な問題を反映した有用なデータスライスを特定するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-09-14T02:15:50Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Error Discovery by Clustering Influence Embeddings [7.27282591214364]
  本稿では,モデルが性能の低いテスト例群(スライス)を識別する手法を提案する。 我々はコヒーレンスを任意のスライス発見法が満たすべき重要な特性として定式化する。 InfEmbedという新しいスライス発見手法を考案し、トレーニングデータに類似した影響を受けているスライスを返却することでコヒーレンスを満足する。
  論文  参考訳（メタデータ） (2023-12-07T21:42:55Z)
• Where Does My Model Underperform? A Human Evaluation of Slice Discovery Algorithms [24.127380328812855]
  新しいスライス発見アルゴリズムは、データの一貫性と高いエラーのサブセットをグループ化することを目的としている。 2つの最先端スライス探索アルゴリズムによって出力される40個のスライスをユーザに示し、オブジェクト検出モデルに関する仮説を作成するよう依頼する。 以上の結果から,これらのツールが素直なベースラインよりも有益であることを示すとともに,仮説形成段階においてユーザが直面する課題にも光を当てることができた。
  論文  参考訳（メタデータ） (2023-06-13T22:44:53Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Unsupervised Noisy Tracklet Person Re-identification [100.85530419892333]
  本稿では,非照合トラックレットデータから識別的人物再識別モデルを訓練できる選択的トラックレット学習(STL)手法を提案する。 これにより、カメラビュー全体で人物の画像/トラックレットの真のマッチングペアを完全にラベル付けする面倒でコストのかかるプロセスが回避されます。 提案手法は生トラックレットの任意のノイズデータに対して特に頑健であるため,制約のない追跡データから識別モデル学習にスケーラブルである。
  論文  参考訳（メタデータ） (2021-01-16T07:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。