論文の概要: Hidden Cartographer: Hidden State Guided Data Selection for Dual Budgeted Instruction Tuning

• arxiv url: http://arxiv.org/abs/2610.25215v1
• Date: Sun, 18 Oct 2026 12:17:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:25:25.852493
• Title: Hidden Cartographer: Hidden State Guided Data Selection for Dual Budgeted Instruction Tuning
• Title（参考訳）: 隠れたカルトグラフィー:二重予算の教育訓練のための隠れた状態ガイドデータ選択
• Abstract要約: 隠れ状態を利用してアノテーションと正確なトレーニングダイナミクスをガイドする2段階のフレームワークであるHidden Cartographerを提案する。 医療分野、法律分野、金融分野における実験では、HCが全ての予算ベースラインの中で最も高い平均精度を達成することが示されている。
• 参考スコア（独自算出の注目度）: 15.217423478256224
• License:
• Abstract: Given the high cost of expert annotation and limited fine-tuning resources, effective data selection from large unlabeled pools under strict budgets has become a crucial step in adapting LLMs to specialized domains. Existing label-dependent methods risk distorted selection when using pseudo-labels, while traditional active learning methods do not explicitly characterize instruction-tuning dynamics. To address these limitations, we propose Hidden Cartographer (HC), a two-stage framework that uses hidden states to guide annotation and exact training dynamics to select the final training subset. The first stage is Progressive Candidate Expansion, which utilizes the proxy to iteratively select top unlabeled candidates for expert annotation, merging them to recompute training dynamics and update the proxy until the annotation budget is exhausted; the second stage is Exact Cartography Pruning, which ranks these annotated candidates by their exact dynamics scores to isolate a compact subset under the final training budget. Experiments across the medical, legal, and financial domains demonstrate that HC achieves the highest average accuracy among all budgeted baselines, requiring annotation for only 20--30% of the original pool and fine-tuning on just 10--15%.
• Abstract（参考訳）: 専門家のアノテーションと限られた微調整資源のコストを考えると、厳格な予算下での大規模未ラベルプールからの効果的なデータ選択は、特殊なドメインにLLMを適用する上で重要なステップとなっている。 既存のラベル依存手法は擬似ラベルを使用する際に歪んだ選択を危険にさらすが、従来のアクティブな学習法は命令チューニングのダイナミクスを明示的に特徴づけるものではない。 これらの制限に対処するため,隠れ状態を用いてアノテーションと正確なトレーニングダイナミクスをガイドし,最終的なトレーニングサブセットを選択するための2段階フレームワークであるHidden Cartographer (HC)を提案する。 第1段階はプログレッシブ・カンディネート・エクスパンジョン(Progressive Candidate Expansion)であり、プロキシを使用して専門家のアノテーションに対する上位のラベルのない候補を反復的に選択し、それらをマージしてトレーニングのダイナミクスを再計算し、アノテーションの予算が尽きるまでプロキシを更新する。 医療、法律、金融分野での実験では、HCは全ての予算ベースラインの中で最も高い平均精度を達成しており、オリジナルのプールの20-30%のアノテーションと10-15%の微調整しか必要としていない。

関連論文リスト

• Unifying Active Learning and Semi-Supervised Learning for Medical Image Segmentation [7.337647131220666]
  医用画像セグメンテーションのための統合型アクティブ半教師付きフレームワークを提案する。 RegALは3つの相補的な軸、ボクセルワイドの不確実性、特徴の多様性、新しいトポロジカル整合度といった画像を評価する。 RegALは、ラベル付きボリュームがほとんどなく安定しており、最先端のAL、SSL、アクティブな半教師付きベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-27T19:10:12Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels [57.91658393667468]
  Holistic Optimal Label Selection (HopS) は、大規模な事前学習された視覚言語モデルを下流タスクに適用するためのパラメータ効率の高いアプローチである。 HopSは、部分的な監視の下でパフォーマンスを継続的に改善し、すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-04-08T02:49:19Z)
• One-Stage Top-$k$ Learning-to-Defer: Score-Based Surrogates with Theoretical Guarantees [6.792743621449621]
  最初の1段階のTop-k$ Learning-to-Deferフレームワークを紹介します。 我々は、最もコスト効率の良いエンティティラベルや専門家1人当たりのインプットを$k$で選択するスコアベースの共有モデルを学ぶ。 CIFAR-10とSVHNの実験により、我々の1段階のTop-$k$法がTop-1deferralを厳密に上回っていることを確認した。
  論文  参考訳（メタデータ） (2025-05-15T10:41:16Z)
• Boundary Matters: A Bi-Level Active Finetuning Framework [100.45000039215495]
  アクティブファインタニングの概念は、限られた予算内でモデルファインタニングに最も適したサンプルを選択することを目的としている。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 そこで本研究では,アノテーションのサンプルを1ショットで選択するバイレベルアクティブファインタニングフレームワークを提案し,その2段階として,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択を提案する。
  論文  参考訳（メタデータ） (2024-03-15T07:19:15Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Aggregating Soft Labels from Crowd Annotations Improves Uncertainty Estimation Under Distribution Shift [43.69579155156202]
  本稿では,ドメイン外環境での集団ラベルからの学習について,大規模な実証的研究を行った。 タスク間の一貫したパフォーマンスを実現するために,ソフトラベルを単純な平均で集約することを提案する。
  論文  参考訳（メタデータ） (2022-12-19T12:40:18Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。