論文の概要: Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting

• arxiv url: http://arxiv.org/abs/2002.07397v1
• Date: Tue, 18 Feb 2020 06:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 20:17:06.299316
• Title: Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting
• Title（参考訳）: インスタンス重み付けによる補完的ラスト発話選択によるマルチターン応答選択モデルの改善
• Authors: Kun Zhou and Wayne Xin Zhao and Yutao Zhu and Ji-Rong Wen and Jingsong Yu
• Abstract要約: 我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
• 参考スコア（独自算出の注目度）: 84.9716460244444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-domain retrieval-based dialogue systems require a considerable amount of training data to learn their parameters. However, in practice, the negative samples of training data are usually selected from an unannotated conversation data set at random. The generated training data is likely to contain noise and affect the performance of the response selection models. To address this difficulty, we consider utilizing the underlying correlation in the data resource itself to derive different kinds of supervision signals and reduce the influence of noisy data. More specially, we consider a main-complementary task pair. The main task (\ie our focus) selects the correct response given the last utterance and context, and the complementary task selects the last utterance given the response and context. The key point is that the output of the complementary task is used to set instance weights for the main task. We conduct extensive experiments in two public datasets and obtain significant improvement in both datasets. We also investigate the variant of our approach in multiple aspects, and the results have verified the effectiveness of our approach.
• Abstract（参考訳）: オープンドメイン検索に基づく対話システムは、パラメータを学習するためにかなりの量のトレーニングデータを必要とする。 しかし、実際には、トレーニングデータの負のサンプルは通常、ランダムに設定された無記名会話データから選択される。 生成されたトレーニングデータはノイズを含み、応答選択モデルの性能に影響する可能性が高い。 この課題に対処するために,データリソース自体の基盤となる相関を利用して,異なる種類の監視信号を導出し,ノイズデータの影響を低減することを検討する。 より具体的には、主補的タスクペアを考える。 メインタスク(我々の焦点)は、最後の発話とコンテキストが与えられた正しい応答を選択し、補完タスクは、応答とコンテキストが与えられた最後の発話を選択します。 キーポイントは、補完タスクの出力がメインタスクのインスタンス重みを設定するために使用されることです。 2つの公開データセットで広範な実験を行い,両データセットで有意な改善を得た。 また,提案手法のバリエーションを多面的に検討し,本手法の有効性を検証した。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Diversify and Conquer: Diversity-Centric Data Selection with Iterative Refinement [8.509688686402438]
  命令データ上での大規模言語モデルの微調整は、事前訓練された知識の強化と命令追従能力の向上に不可欠である。 この作業は問題に対処する: 効果的なトレーニングのために、データの最適なサブセットをどうやって決定できるのか? 提案手法では,k平均クラスタリングを用いて,選択したサブセットが全データセットを効果的に表現できるようにする。
  論文  参考訳（メタデータ） (2024-09-17T17:25:31Z)
• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• Towards Comprehensive Preference Data Collection for Reward Modeling [15.495910034714187]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の好みの調整を容易にする。 そこで本研究では,プロセスを4段階に分解し,好みデータ収集のためのフレームワークを提案する。 この構造的アプローチは、人間の労働への依存を減らしながら、高品質な嗜好の収集を保証する。
  論文  参考訳（メタデータ） (2024-06-24T09:40:39Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network [83.64416937454801]
  ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。 求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。 我々のモデルは求人マッチングの最先端手法より優れている。
  論文  参考訳（メタデータ） (2020-09-25T03:09:54Z)
• A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
  教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。 メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
  論文  参考訳（メタデータ） (2020-09-10T15:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。