論文の概要: CoT-BERT: Enhancing Unsupervised Sentence Representation through
Chain-of-Thought
- arxiv url: http://arxiv.org/abs/2309.11143v2
- Date: Thu, 29 Feb 2024 13:38:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:41:26.599138
- Title: CoT-BERT: Enhancing Unsupervised Sentence Representation through
Chain-of-Thought
- Title(参考訳): CoT-BERT:Chain-of-Thoughtによる教師なし文表現の強化
- Authors: Bowen Zhang, Kehua Chang, Chunping Li
- Abstract要約: 教師なし文表現学習は、入力文を複雑な意味情報に富んだ固定長ベクトルに変換することを目的としている。
本稿では,文表現の理解と要約という2段階のアプローチを提案する。
入力文に対するプロンプトの摂動効果を改善するため,既存のテンプレート復調手法を改良する。
- 参考スコア(独自算出の注目度): 3.435381469869212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised sentence representation learning aims to transform input
sentences into fixed-length vectors enriched with intricate semantic
information while obviating the reliance on labeled data. Recent progress
within this field, propelled by contrastive learning and prompt engineering,
has significantly bridged the gap between unsupervised and supervised
strategies. Nonetheless, the potential utilization of Chain-of-Thought, remains
largely untapped in this trajectory. To unlock the latent capabilities of
pre-trained models, such as BERT, we propose a two-stage approach for sentence
representation: comprehension and summarization. Subsequently, the output of
the latter phase is harnessed as the embedding of the input sentence. For
further performance enhancement, we introduce an extended InfoNCE Loss by
incorporating the contrast between positive and negative instances.
Additionally, we also refine the existing template denoising technique to
better mitigate the perturbing influence of prompts on input sentences.
Rigorous experimentation substantiates our method, CoT-BERT, transcending a
suite of robust baselines without necessitating other text representation
models or external databases.
- Abstract(参考訳): 教師なし文表現学習は、ラベル付きデータへの依存を回避しつつ、複雑な意味情報に富んだ入力文を固定長ベクトルに変換することを目的としている。
コントラスト学習とプロンプトエンジニアリングによって推進されたこの分野の最近の進歩は、教師なし戦略と教師なし戦略のギャップを大幅に埋めている。
それでも、この軌道には、Chain-of-Thoughtの潜在的な利用法はほとんど使われていない。
BERTのような事前学習モデルの潜在能力を解き放つために,文表現のための2段階のアプローチを提案する。
その後、後者の位相の出力を入力文の埋め込みとして利用する。
さらなる性能向上のために,正のインスタンスと負のインスタンスのコントラストを組み込むことにより,拡張したインフォメーションロスを導入する。
さらに,入力文に対するプロンプトの摂動的影響を軽減するため,既存のテンプレート復調手法を改良する。
厳密な実験は、我々の方法であるCoT-BERTを、他のテキスト表現モデルや外部データベースを必要とせずに、頑健なベースラインを超越する。
関連論文リスト
- Making Pre-trained Language Models Better Continual Few-Shot Relation
Extractors [15.417833307088637]
連射関係抽出(CFRE)は,新たな関係を連続的に学習するモデルを必要とする実践的問題である。
主な課題は、悲惨な忘れ物と過度に適合することである。
本稿では,事前学習した言語モデルの暗黙的能力を探るために,素早い学習を利用する。
論文 参考訳(メタデータ) (2024-02-24T04:32:44Z) - Efficient Generalized Low-Rank Tensor Contextual Bandits [14.016197224603433]
本稿では,3つの特徴ベクトルから行動が生成され,テンソルで表現できる,低ランクな文脈帯域モデルを提案する。
探索と利用のトレードオフを効果的に実現するために,我々は「一般化低ランク部分空間を再定義する」という新しいアルゴリズムを導入する(G-LowTESTR)。
厳密な理論解析により、G-LowTESTRの後悔境界はベクトル化や行列化の場合よりも優れていることが示されている。
論文 参考訳(メタデータ) (2023-11-03T08:12:05Z) - Understanding Self-Supervised Learning of Speech Representation via
Invariance and Redundancy Reduction [0.45060992929802207]
自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。
本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
論文 参考訳(メタデータ) (2023-09-07T10:23:59Z) - Implicit Counterfactual Data Augmentation for Deep Neural Networks [3.6397924689580745]
機械学習モデルは、非因果属性とクラスの間の急激な相関を捉える傾向にある。
本研究では,突発的相関を除去し,安定な予測を行う暗黙的対実データ拡張手法を提案する。
論文 参考訳(メタデータ) (2023-04-26T10:36:40Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-08T04:09:13Z) - Robust Dialogue State Tracking with Weak Supervision and Sparse Data [2.580163308334609]
対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため困難である。
サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。
そこで本研究では,詳細な手動スパンラベルを必要とせず,抽出DSTモデルを構築するためのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2022-02-07T16:58:12Z) - Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks [59.761411682238645]
Retrieval-augmented Generation Modelは、多くの知識集約型NLPタスクにまたがって最先端のパフォーマンスを示している。
生成器の訓練に、パスが出力をサポートするための正しい証拠を含むか否かに関わらず、パスの明快さを組み込む方法を導入する。
論文 参考訳(メタデータ) (2021-12-16T08:18:47Z) - Learning to Selectively Learn for Weakly-supervised Paraphrase
Generation [81.65399115750054]
弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。
具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。
検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。
提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
論文 参考訳(メタデータ) (2021-09-25T23:31:13Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。
条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。
提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
論文 参考訳(メタデータ) (2020-10-10T07:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。