論文の概要: Mind the Tail: Data Selection Through Sparse Concepts

• arxiv url: http://arxiv.org/abs/2610.21007v1
• Date: Wed, 14 Oct 2026 23:00:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.102207
• Title: Mind the Tail: Data Selection Through Sparse Concepts
• Title（参考訳）: Mind the Tail: スパースの概念によるデータ選択
• Abstract要約: 本研究は, 微粒化, 突発的相関, 一般画像分類における関係を明示的に検討する。 具体的には、スパースオートエンコーダ(SAE)を用いて、個々の画像から概念アクティベーションを抽出する。 この分布に減少するリターンを適用することは、よく表現された概念を減らし、分布尾に焦点を移す。
• 参考スコア（独自算出の注目度）: 42.68085422522923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection reallocates training support across visual concepts, including objects, attributes, color, texture, and backgrounds. Different allocation strategies may produce varied downstream model behavior, especially for tail concepts supported by only a few samples. Discarding them can hurt test-time robustness, while overemphasizing samples lying on category boundaries may introduce unstable training signals. This work explicitly investigates this relationship across fine-grained, spurious-correlation, and general image classification, as well as multimodal pretraining. Specifically, we use sparse autoencoders (SAEs) to extract concept activations from individual images. During selection, we accumulate the dataset-level concept support for each added sample. Applying diminishing returns to this distribution down-weights well-represented concepts and shifts the focus to the distribution tail. We then incorporate local support to find samples that reliably strengthen under-supported concepts. Empirical results show consistent improvements over strong data selection baselines across all benchmarks. We also reveal the connection between concepts our method enhances and the induced behavioral changes, including improved robustness against out-of-distribution and spurious contexts. This work establishes concept support, beyond individual sample importance, as a useful principle for data-efficient and robust learning.
• Abstract（参考訳）: データ選択は、オブジェクト、属性、色、テクスチャ、背景など、視覚的な概念をまたいだトレーニングサポートを再配置する。 異なるアロケーション戦略は、特に少数のサンプルでサポートされている尾の概念に対して、様々な下流モデルの振る舞いを生み出す可能性がある。 それらの発見はテスト時の堅牢性を損なう可能性がある一方で、カテゴリ境界に横たわっているサンプルを過度に強調することは、不安定なトレーニング信号をもたらす可能性がある。 本研究は, 微粒化, 突発的相関, 一般画像分類, およびマルチモーダル事前学習における関係を明示的に検討する。 具体的には、スパースオートエンコーダ(SAE)を用いて、個々の画像から概念アクティベーションを抽出する。 選択中、追加サンプル毎にデータセットレベルの概念サポートを蓄積します。 この分布に減少するリターンを適用することは、よく表現された概念を減らし、分布尾に焦点を移す。 次に、サポートされていない概念を確実に強化するサンプルを見つけるために、ローカルサポートを組み込む。 実証的な結果は、すべてのベンチマークで強いデータ選択ベースラインよりも一貫した改善を示している。 また,本手法が拡張する概念と,アウト・オブ・ディストリビューションや刺激的文脈に対するロバスト性の改善を含む行動変化の関連を明らかにする。 この研究は、データ効率と堅牢な学習のための有用な原則として、個々のサンプル重要度を超えた概念支援を確立する。

関連論文リスト

• Mapping the Concept Landscape: Structural Perception of Global Distributions for Transparent Data Pruning [6.151603039413623]
  本稿では,透明データ解析のための新しい構造認識フレームワークであるConcept Landscape (MCL)を提案する。 抽象的な埋め込みの代わりに、各画像キャプチャペアをエンティティ、イベント、属性からなる明示的なサンプルレベルグラフとして表現する。 この構造的認識に基づいて,高値・低表現概念の限界ゲインを最大化するために,サンプルを反復的に選択する欲求的概念解析アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2026-08-24T06:41:18Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Bayesian Joint Additive Factor Models for Multiview Learning [7.254731344123118]
  マルチオミクスデータが収集され、臨床結果と相関する精度医学の文脈でモチベーション応用が生じる。 本稿では,共有およびビュー固有のコンポーネントを考慮に入れた,構造化された付加的設計を伴うJAFAR(Joint Additive Factor regression model)を提案する。 免疫,メタボローム,プロテオームデータから得られた時間とラベルの発症の予測は,最先端の競合相手に対するパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-06-02T15:35:45Z)
• Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-27T12:59:35Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。