論文の概要: Dense Retrieval as Indirect Supervision for Large-space Decision Making

• arxiv url: http://arxiv.org/abs/2310.18619v1
• Date: Sat, 28 Oct 2023 07:00:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 17:31:03.067263
• Title: Dense Retrieval as Indirect Supervision for Large-space Decision Making
• Title（参考訳）: 大規模空間決定のための間接的スーパービジョンとしての高密度検索
• Authors: Nan Xu, Fei Wang, Mingtao Dong, Muhao Chen
• Abstract要約: 本研究では,学習から検索までのタスクとして,大規模空間識別型NLUタスクの再構成を提案する。 詳細な決定をロジットとして予測する代わりに、DDRでは、決定シソーラスから検索することで予測を学習するデュアルエンコーダアーキテクチャを採用している。
• 参考スコア（独自算出の注目度）: 41.91013112648066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many discriminative natural language understanding (NLU) tasks have large label spaces. Learning such a process of large-space decision making is particularly challenging due to the lack of training instances per label and the difficulty of selection among many fine-grained labels. Inspired by dense retrieval methods for passage finding in open-domain QA, we propose a reformulation of large-space discriminative NLU tasks as a learning-to-retrieve task, leading to a novel solution named Dense Decision Retrieval (DDR ). Instead of predicting fine-grained decisions as logits, DDR adopts a dual-encoder architecture that learns to predict by retrieving from a decision thesaurus. This approach not only leverages rich indirect supervision signals from easy-to-consume learning resources for dense retrieval, it also leads to enhanced prediction generalizability with a semantically meaningful representation of the large decision space. When evaluated on tasks with decision spaces ranging from hundreds to hundred-thousand scales, DDR outperforms strong baselines greatly by 27.54% in P@1 on two extreme multi-label classification tasks, 1.17% in F1 score ultra-fine entity typing, and 1.26% in accuracy on three few-shot intent classification tasks on average. Code and resources are available at https://github.com/luka-group/DDR
• Abstract（参考訳）: 多くの識別的自然言語理解(NLU)タスクには大きなラベル空間がある。 このような大規模な意思決定プロセスを学ぶことは、ラベルごとのトレーニングインスタンスの欠如と、多くのきめ細かいラベルの選択が難しいため、特に難しい。 オープンドメインQAにおける経路探索のための高密度検索手法に着想を得て,大空間の識別的NLUタスクを学習・検索タスクとして再構成し,Dense Decision Retrieval (DDR) という新しいソリューションを提案する。 細かい決定をlogitとして予測する代わりに、ddrは決定シソーラスから検索することで予測を学ぶデュアルエンコーダアーキテクチャを採用している。 このアプローチは, 深度検索のための学習資源から得られるリッチな間接的な監視信号を活用するだけでなく, 大規模決定空間を意味的に意味のある表現で予測の一般化性を向上させる。 決定空間を数百から数百のスケールで評価した場合、DDRは2つの極端な多ラベル分類タスクに対して27.54%のP@1、F1の1.17%の超微粒なエンティティタイピング、および3つの数発の意図分類タスクに対して平均1.26%の精度で強いベースラインをはるかに上回る。 コードとリソースはhttps://github.com/luka-group/DDRで入手できる。

関連論文リスト

• MuRAL: Multi-Scale Region-based Active Learning for Object Detection [20.478741635006116]
  オブジェクト検出のためのマルチスケール領域ベースアクティブラーニング(MuRAL)と呼ばれる新しい手法を提案する。 MuRALは、様々なスケールの情報領域を特定して、よく学習されたオブジェクトのアノテーションコストを削減する。 提案手法は,Cityscapes および MS COCO データセットの粗粒度および細粒度ベースラインを網羅する。
  論文  参考訳（メタデータ） (2023-03-29T12:52:27Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
  新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:07:25Z)
• Automated Imbalanced Classification via Layered Learning [0.734084539365505]
  トレーニングインスタンスのクラス分布のバランスをとるために再サンプリング戦略を適用することは、これらの問題に対処するための一般的なアプローチである。 多くの最先端の手法は、再サンプリングプロセスを実行するために決定境界に近い関心の事例を見つける。 オーバーサンプリングは、少数層からインスタンスに含まれる情報を伝播することで、過度に適合する可能性を高める可能性がある。
  論文  参考訳（メタデータ） (2022-05-05T10:32:24Z)
• Continual Coarse-to-Fine Domain Adaptation in Semantic Segmentation [22.366638308792734]
  ディープニューラルネットワークは通常、特定のタスクとデータ分散のために、単一のショットでトレーニングされる。 実際の環境では、タスクとアプリケーションドメインの両方が変更される可能性がある。 本稿では,ドメインシフトが存在する場合のセマンティックセグメンテーションアーキテクチャの粗大な学習という新たな課題を紹介する。
  論文  参考訳（メタデータ） (2022-01-18T13:31:19Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• SPL-MLL: Selecting Predictable Landmarks for Multi-Label Learning [87.27700889147144]
  我々は、入力(予測可能)に応じて予測しやすく、他の可能なラベル(表現可能)をうまく回復できるランドマークとして、ラベルの小さなサブセットを選択することを提案する。 我々は,ADM(Alternating Direction Method)を用いてこの問題を解決する。実世界のデータセットに関する実証研究により,本手法が他の最先端手法よりも優れた分類性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-08-16T11:07:44Z)
• NeuCrowd: Neural Sampling Network for Representation Learning with Crowdsourced Labels [19.345894148534335]
  本稿では,クラウドソースラベルから教師付き表現学習(SRL)を実現する統一フレームワークであるemphNeuCrowdを提案する。 提案手法は1つの実世界のデータセットと3つの実世界のデータセットで評価される。
  論文  参考訳（メタデータ） (2020-03-21T13:38:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。