論文の概要: Stop Filtering: Multi-View Attribute-Enhanced Dialogue Learning
- arxiv url: http://arxiv.org/abs/2205.11206v1
- Date: Mon, 23 May 2022 11:28:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 15:19:03.305606
- Title: Stop Filtering: Multi-View Attribute-Enhanced Dialogue Learning
- Title（参考訳）: Stop Filtering: 多視点属性強化対話学習
- Authors: Yiwei Li, Bin Sun, Shaoxiong Feng, Kan Li
- Abstract要約: 本稿では,属性関連機能をより堅牢かつ包括的に強化する多視点属性強化対話学習フレームワークを提案する。
対話属性の多様性を考慮すると、多視点選択や視点間融合を含む多視点拡張機構をさらに設計する。
実験結果と分析結果から,対話属性の強化やビュー固有の知識の融合の観点から,我々のフレームワークが性能を大幅に向上できることが示唆された。
- 参考スコア（独自算出の注目度）: 11.124375734351826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a growing interest in improving the conversational ability of models
by filtering the raw dialogue corpora. Previous filtering strategies usually
rely on a scoring method to assess and discard samples from one perspective,
enabling the model to enhance the corresponding dialogue attributes (e.g.,
consistency) more easily. However, the discarded samples may obtain high scores
in other perspectives and can provide regularization effects on the model
learning, which causes the performance improvement to be sensitive to the
filtering ratio. In this work, we propose a multi-view attribute-enhanced
dialogue learning framework that strengthens the attribute-related features
more robustly and comprehensively. Instead of filtering the raw dataset to
train the model, our framework first pre-trains the model on the raw dataset
and then fine-tunes it through adapters on the selected sub-sets, which also
enhances certain attributes of responses but without suffering from the
problems mentioned above. Considering the variety of the dialogue attribute, we
further design a multi-view enhancement mechanism, including multi-view
selection and inter-view fusion. It groups the high-quality samples from
multiple perspectives, respectively, and enhances different attributes of
responses with the corresponding sample sets and adapters, keeping knowledge
independent and allowing flexible integration. Empirical results and analysis
show that our framework can improve the performance significantly in terms of
enhancing dialogue attributes and fusing view-specific knowledge.
- Abstract（参考訳）: 生の対話コーパスをフィルタリングすることで,モデルの対話能力向上への関心が高まっている。
従来のフィルタリング戦略は通常、ある視点からサンプルを評価して破棄するスコア付け方法に依存しており、モデルが対応する対話属性(例えば一貫性)をより簡単に拡張できる。
しかし、廃棄されたサンプルは他の観点で高いスコアを得ることができ、モデル学習に正規化効果を与えることができ、その結果、性能改善がフィルタリング率に敏感になる。
本研究では,属性関連機能をより強固かつ包括的に強化する多視点属性強化対話学習フレームワークを提案する。
我々のフレームワークは、モデルをトレーニングするために生データセットをフィルタリングする代わりに、まず、生データセット上でモデルを事前トレーニングし、選択したサブセットのアダプタを通じて微調整します。
対話属性の多様性を考慮し,マルチビュー選択とインタービュー融合を含むマルチビュー拡張機構を更に設計する。
複数の視点から高品質なサンプルをグループ化し、対応するサンプルセットとアダプタによる応答の異なる属性を強化し、知識を独立に保ち、柔軟な統合を可能にする。
実験結果と分析の結果から,対話属性の強化やビュー固有の知識の活用という観点で,フレームワークの性能向上が期待できることがわかった。
関連論文リスト
- Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。
コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。
SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
論文 参考訳（メタデータ） (2024-05-24T23:09:27Z) - DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。
提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。
様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文 参考訳（メタデータ） (2024-01-02T07:40:12Z) - Attribute-Aware Deep Hashing with Self-Consistency for Large-Scale
Fine-Grained Image Retrieval [65.43522019468976]
本稿では属性認識ハッシュコードを生成するための自己整合性を持つ属性認識ハッシュネットワークを提案する。
本研究では,高レベル属性固有ベクトルを教師なしで蒸留する再構成タスクのエンコーダ・デコーダ構造ネットワークを開発する。
我々のモデルは,これらの属性ベクトルに特徴デコリレーション制約を設けて,それらの代表的能力を強化する。
論文 参考訳（メタデータ） (2023-11-21T08:20:38Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Seen to Unseen: Exploring Compositional Generalization of
Multi-Attribute Controllable Dialogue Generation [23.79168163871952]
既存の制御可能な対話生成作業は、単一属性制御に焦点を当てている。
本稿では, プロンプトベースで制御不能な対話生成モデルDCGを提案する。
論文 参考訳（メタデータ） (2023-06-17T10:50:19Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳（メタデータ） (2023-05-18T17:23:00Z) - AARGH! End-to-end Retrieval-Generation for Task-Oriented Dialog [3.42658286826597]
AARGHは、単一モデルにおける検索と生成のアプローチを組み合わせたエンドツーエンドのタスク指向対話システムである。
提案手法は,状態追跡とコンテキスト・ツー・レスポンス生成性能を維持・改善しながら,より多様な出力を生成する。
論文 参考訳（メタデータ） (2022-09-08T08:15:22Z) - Identifying Untrustworthy Samples: Data Filtering for Open-domain
Dialogues with Bayesian Optimization [28.22184410167622]
オープンドメイン対話のためのデータフィルタリング手法を提案する。
トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。
2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
論文 参考訳（メタデータ） (2021-09-14T06:42:54Z) - Neural Graph Matching based Collaborative Filtering [13.086302251856756]
属性相互作用の2つの異なるタイプ、内部相互作用とクロス相互作用を識別する。
既存のモデルはこれら2種類の属性相互作用を区別しない。
ニューラルグラフマッチングに基づく協調フィルタリングモデル(GMCF)を提案する。
我々のモデルは最先端のモデルより優れている。
論文 参考訳（メタデータ） (2021-05-10T01:51:46Z) - Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。
1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。
各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-11T03:25:25Z) - Attributes-Guided and Pure-Visual Attention Alignment for Few-Shot
Recognition [27.0842107128122]
属性誘導型アテンションモジュール (AGAM) を設計し, 属性を付加し, より識別的な特徴を学習する。
提案モジュールは,最先端性能を実現するため,単純なメートル法に基づくアプローチを大幅に改善することができる。
論文 参考訳（メタデータ） (2020-09-10T08:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。