論文の概要: Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting
- arxiv url: http://arxiv.org/abs/2002.07397v1
- Date: Tue, 18 Feb 2020 06:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 20:17:06.299316
- Title: Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting
- Title(参考訳): インスタンス重み付けによる補完的ラスト発話選択によるマルチターン応答選択モデルの改善
- Authors: Kun Zhou and Wayne Xin Zhao and Yutao Zhu and Ji-Rong Wen and Jingsong
Yu
- Abstract要約: 我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
- 参考スコア(独自算出の注目度): 84.9716460244444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-domain retrieval-based dialogue systems require a considerable amount of
training data to learn their parameters. However, in practice, the negative
samples of training data are usually selected from an unannotated conversation
data set at random. The generated training data is likely to contain noise and
affect the performance of the response selection models. To address this
difficulty, we consider utilizing the underlying correlation in the data
resource itself to derive different kinds of supervision signals and reduce the
influence of noisy data. More specially, we consider a main-complementary task
pair. The main task (\ie our focus) selects the correct response given the last
utterance and context, and the complementary task selects the last utterance
given the response and context. The key point is that the output of the
complementary task is used to set instance weights for the main task. We
conduct extensive experiments in two public datasets and obtain significant
improvement in both datasets. We also investigate the variant of our approach
in multiple aspects, and the results have verified the effectiveness of our
approach.
- Abstract(参考訳): オープンドメイン検索に基づく対話システムは、パラメータを学習するためにかなりの量のトレーニングデータを必要とする。
しかし、実際には、トレーニングデータの負のサンプルは通常、ランダムに設定された無記名会話データから選択される。
生成されたトレーニングデータはノイズを含み、応答選択モデルの性能に影響する可能性が高い。
この課題に対処するために,データリソース自体の基盤となる相関を利用して,異なる種類の監視信号を導出し,ノイズデータの影響を低減することを検討する。
より具体的には、主補的タスクペアを考える。
メインタスク(我々の焦点)は、最後の発話とコンテキストが与えられた正しい応答を選択し、補完タスクは、応答とコンテキストが与えられた最後の発話を選択します。
キーポイントは、補完タスクの出力がメインタスクのインスタンス重みを設定するために使用されることです。
2つの公開データセットで広範な実験を行い,両データセットで有意な改善を得た。
また,提案手法のバリエーションを多面的に検討し,本手法の有効性を検証した。
関連論文リスト
- Prioritizing Informative Features and Examples for Deep Learning from
Noisy Data [4.741012804505562]
本稿では,開発プロセスの各段階を強化するために,情報的特徴や事例を優先するシステムフレームワークを提案する。
まず,目的課題の解決に固有の情報的特徴のみを,補助的なアウト・オブ・ディストリビューションデータを用いて抽出する手法を提案する。
次に、能動学習のラベル付けコストを削減するために、ラベルなしノイズデータから情報的サンプルを優先する手法を提案する。
論文 参考訳(メタデータ) (2024-02-27T07:15:35Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - From Random to Informed Data Selection: A Diversity-Based Approach to
Optimize Human Annotation and Few-Shot Learning [38.30983556062276]
自然言語処理における大きな課題は、教師付き学習のための注釈付きデータを取得することである。
クラウドソーシングは、アノテータの経験、一貫性、バイアスに関連する問題を導入する。
本稿では,数ショット学習のための小さなデータセットを構築するための,自動的および情報的データ選択アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-24T04:57:32Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Controlled Randomness Improves the Performance of Transformer Models [4.678970068275123]
制御されたランダム性、すなわちノイズを訓練プロセスに導入し、微調整言語モデルを改善する。
このようなノイズを加えることで、結合したエンティティ認識と関係抽出とテキスト要約という2つの下流タスクのパフォーマンスが向上することがわかった。
論文 参考訳(メタデータ) (2023-10-20T14:12:55Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳(メタデータ) (2021-06-02T11:39:25Z) - Learning to Match Jobs with Resumes from Sparse Interaction Data using
Multi-View Co-Teaching Network [83.64416937454801]
ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。
求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。
我々のモデルは求人マッチングの最先端手法より優れている。
論文 参考訳(メタデータ) (2020-09-25T03:09:54Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z) - A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。
メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
論文 参考訳(メタデータ) (2020-09-10T15:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。