論文の概要: Few-shot Mining of Naturally Occurring Inputs and Outputs

• arxiv url: http://arxiv.org/abs/2205.04050v1
• Date: Mon, 9 May 2022 05:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 23:06:56.522141
• Title: Few-shot Mining of Naturally Occurring Inputs and Outputs
• Title（参考訳）: 自然発生入力と出力の少ないマイニング
• Authors: Mandar Joshi and Terra Blevins and Mike Lewis and Daniel S. Weld and Luke Zettlemoyer
• Abstract要約: 我々は,100個の小さな種子セットを用いて訓練した教師付き鉱業関数を用いて,大規模コーパスからの入力出力例をマイニングした。 モデル生成データ拡張とは違って,本手法では,複数のタスクを対象としたシードセットのスタイルを模倣するために,自然に発生する高品質な入力出力ペアをマイニングする。 SQuAD型読解では, 採取したデータでシードセットを増強すると, シードセットのみを微調整したBART-largeベースラインよりも13F1の精度が向上した。
• 参考スコア（独自算出の注目度）: 83.3871936721431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating labeled natural language training data is expensive and requires significant human effort. We mine input output examples from large corpora using a supervised mining function trained using a small seed set of only 100 examples. The mining consists of two stages -- (1) a biencoder-based recall-oriented dense search which pairs inputs with potential outputs, and (2) a crossencoder-based filter which re-ranks the output of the biencoder stage for better precision. Unlike model-generated data augmentation, our method mines naturally occurring high-quality input output pairs to mimic the style of the seed set for multiple tasks. On SQuAD-style reading comprehension, augmenting the seed set with the mined data results in an improvement of 13 F1 over a BART-large baseline fine-tuned only on the seed set. Likewise, we see improvements of 1.46 ROUGE-L on Xsum abstractive summarization.
• Abstract（参考訳）: ラベル付き自然言語トレーニングデータの作成は費用がかかり、かなりの努力を要する。 我々は,100個の小さな種子セットを用いて訓練した教師付き鉱業関数を用いて,大規模コーパスからの入力出力例をマイニングした。 マイニングは,(1)入力と潜在的な出力を組み合わせるbiencoderに基づくリコール指向の高密度検索,(2)biencoderステージの出力を再ランク付けするクロスエンコーダベースのフィルタの2段階からなる。 モデル生成データ拡張とは違って,本手法では,複数のタスクを対象としたシードセットのスタイルを模倣するために,自然に発生する高品質な入力出力ペアをマイニングする。 SQuAD型読解では, 採取したデータでシードセットを増強すると, シードセットのみを微調整したBART-largeベースラインよりも13F1の改善が得られた。 同様に、Xsum抽象要約における 1.46 ROUGE-L の改善が見られる。

関連論文リスト

• On Training a Neural Network to Explain Binaries [43.27448128029069]
  本研究では,バイナリコード理解のタスクにおいて,ディープニューラルネットワークをトレーニングする可能性を検討する。 私たちは、Stack Overflowの1.1Mエントリを含むキャプチャから派生した、独自のデータセットを構築しています。
  論文  参考訳（メタデータ） (2024-04-30T15:34:51Z)
• Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output Distribution of Neural Networks over the Input Space [20.60516313062773]
  本稿では,グラディエントをベースとした新しい Wang-Landau (GWL) サンプリング手法を提案する。 まず、NNの出力分布と物理系の状態密度(DOS)との接続を描画する。 そこで我々は,そのランダムな提案を勾配に基づくモンテカルロ提案に置き換えることにより,DOS問題の古典的なサンプリングアルゴリズムであるワン・ランダウアルゴリズムを再構築する。
  論文  参考訳（メタデータ） (2023-02-19T05:42:30Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for Improved Generalization [93.95299500688286]
  本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。 本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。 2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-06-29T17:14:35Z)
• Revisiting Regex Generation for Modeling Industrial Applications by Incorporating Byte Pair Encoder [14.42244606935982]
  本研究は正規表現の自動生成に焦点を当て,この問題に対処する新しい遺伝的アルゴリズムを提案する。 まずバイトペアエンコーダ(BPE)を用いて頻繁な項目を抽出し,次に正規表現を構築する。 指数減衰を行うことで、トレーニング速度は指数崩壊を使わずに、手法の約100倍の速度となる。
  論文  参考訳（メタデータ） (2020-05-06T02:09:10Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Imputer: Sequence Modelling via Imputation and Dynamic Programming [101.5705527605346]
  Imputerは反復生成モデルであり、入力トークンや出力トークンの数に依存しない一定の数の生成ステップしか必要としない。 本稿では,ログ限界確率の低い動的プログラミング学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T18:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。