論文の概要: Beyond Labels: Information-Efficient Human-in-the-Loop Learning using Ranking and Selection Queries
- arxiv url: http://arxiv.org/abs/2602.15738v1
- Date: Tue, 17 Feb 2026 17:14:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-18 16:03:18.138279
- Title: Beyond Labels: Information-Efficient Human-in-the-Loop Learning using Ranking and Selection Queries
- Title(参考訳): ラベルを超えて:ランク付けと選択クエリを用いた情報効率のよいヒューマン・イン・ザ・ループ学習
- Authors: Belén Martín-Urcelay, Yoonsang Lee, Matthieu R. Bloch, Christopher J. Rozell,
- Abstract要約: 我々は、リッチなクエリ型を持つバイナリ分類器を学習するためのHuman-in-the-loopフレームワークを開発した。
次に、リッチなクエリを活用するアクティブな学習アルゴリズムを設計し、インタラクション毎に得られる情報を増やします。
単語感情分類タスクにおけるこのアルゴリズムは、従来のラベルのみのアクティブな学習と比較して学習時間を57%以上削減する。
- 参考スコア(独自算出の注目度): 10.128513811628201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating human expertise into machine learning systems often reduces the role of experts to labeling oracles, a paradigm that limits the amount of information exchanged and fails to capture the nuances of human judgment. We address this challenge by developing a human-in-the-loop framework to learn binary classifiers with rich query types, consisting of item ranking and exemplar selection. We first introduce probabilistic human response models for these rich queries motivated by the relationship experimentally observed between the perceived implicit score of an item and its distance to the unknown classifier. Using these models, we then design active learning algorithms that leverage the rich queries to increase the information gained per interaction. We provide theoretical bounds on sample complexity and develop a tractable and computationally efficient variational approximation. Through experiments with simulated annotators derived from crowdsourced word-sentiment and image-aesthetic datasets, we demonstrate significant reductions on sample complexity. We further extend active learning strategies to select queries that maximize information rate, explicitly balancing informational value against annotation cost. This algorithm in the word sentiment classification task reduces learning time by more than 57\% compared to traditional label-only active learning.
- Abstract(参考訳): 人間の専門知識を機械学習システムに統合することで、人的判断のニュアンスを捉えるのに失敗し、交換された情報の量を制限するパラダイムであるオラクルのラベル付けに対する専門家の役割が減ることが多い。
この課題に対処するために、アイテムランキングと模範選択からなる、リッチなクエリ型を持つバイナリ分類器を学習する、Human-in-the-loopフレームワークを開発する。
まず,ある項目の暗黙スコアと未知の分類器への距離との間に実験的に観察された関係によって動機付けられた,これらのリッチなクエリに対する確率的人間の応答モデルを紹介する。
これらのモデルを用いて、リッチなクエリを活用するアクティブな学習アルゴリズムを設計し、インタラクション毎に得られる情報を増やす。
我々は, サンプルの複雑さに関する理論的境界を提供し, トラクタブルで計算効率のよい変分近似を開発する。
クラウドソーシングされたワードセンチメントと画像美的データセットから得られた擬似アノテータを用いた実験により,サンプルの複雑さを著しく低減することを示した。
さらに、アクティブな学習戦略を拡張して、情報レートを最大化するクエリを選択し、アノテーションコストに対して情報の価値を明示的にバランスさせる。
単語感情分類タスクにおけるこのアルゴリズムは、従来のラベルのみのアクティブな学習と比較して学習時間を57パーセント以上削減する。
関連論文リスト
- Harnessing the Power of Beta Scoring in Deep Active Learning for
Multi-Label Text Classification [6.662167018900634]
本研究は,期待損失削減フレームワーク内の適切なスコアリングルールのベータファミリを活かした,新たなアクティブな学習戦略を提案する。
これはBeta Scoring Rulesを使って期待されるスコアの増加を計算し、次にサンプルベクトル表現に変換する。
合成データセットと実データセットの総合的な評価により,複数ラベルのテキスト分類において,確立された取得技術を上回る性能が得られた。
論文 参考訳(メタデータ) (2024-01-15T00:06:24Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳(メタデータ) (2023-10-09T08:07:04Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳(メタデータ) (2023-08-26T07:55:32Z) - Active Learning of Ordinal Embeddings: A User Study on Football Data [4.856635699699126]
人間は本来、未知の類似性関数を使用してラベル付けされていないデータセットのインスタンス間の距離を計測する。
この研究はディープ・メトリック・ラーニングを使用して、大規模なフットボールの軌跡データセットのアノテーションからユーザ定義の類似性関数を学習する。
論文 参考訳(メタデータ) (2022-07-26T07:55:23Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - On the Robustness of Active Learning [0.7340017786387767]
Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。
十分な注意とドメイン知識を持っていないことがよくあります。
そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
論文 参考訳(メタデータ) (2020-06-18T09:07:23Z) - Mining Implicit Entity Preference from User-Item Interaction Data for
Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。
我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。
利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-03-28T05:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。