論文の概要: CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2309.11143v4
• Date: Thu, 20 Jun 2024 12:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 06:37:19.011274
• Title: CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought
• Title（参考訳）: CoT-BERT:Chain-of-Thoughtによる教師なし文表現の強化
• Authors: Bowen Zhang, Kehua Chang, Chunping Li,
• Abstract要約: 本稿では,教師付き推論の進歩的思考を活用する革新的な手法であるCoT-BERTを提案する。 我々は、高度なコントラスト学習損失関数を開発し、新しいテンプレート認知戦略を提案する。
• 参考スコア（独自算出の注目度）: 3.0566617373924325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised sentence representation learning aims to transform input sentences into fixed-length vectors enriched with intricate semantic information while obviating the reliance on labeled data. Recent strides within this domain have been significantly propelled by breakthroughs in contrastive learning and prompt engineering. Despite these advancements, the field has reached a plateau, leading some researchers to incorporate external components to enhance the quality of sentence embeddings. Such integration, though beneficial, complicates solutions and inflates demands for computational resources. In response to these challenges, this paper presents CoT-BERT, an innovative method that harnesses the progressive thinking of Chain-of-Thought reasoning to tap into the latent potential of pre-trained models like BERT. Additionally, we develop an advanced contrastive learning loss function and propose a novel template denoising strategy. Rigorous experimentation demonstrates that CoT-BERT surpasses a range of well-established baselines by relying exclusively on the intrinsic strengths of pre-trained models.
• Abstract（参考訳）: 教師なし文表現学習は、ラベル付きデータへの依存を回避しつつ、複雑な意味情報に富んだ入力文を固定長ベクトルに変換することを目的としている。 この領域における最近の進歩は、対照的な学習と迅速な工学のブレークスルーによって著しく促進されている。 これらの進歩にもかかわらず、この分野は高原に達し、一部の研究者は文章の埋め込みの質を高めるために外部コンポーネントを組み込むようになった。 このような統合は有益ではあるが、ソリューションを複雑にし、計算資源の要求を膨らませる。 これらの課題に対応するために,本論文では,CoT-BERTを提案する。これは,BERTのような事前学習モデルの潜在可能性を活用するために,チェーン・オブ・サート(Chain-of-Thought)の進歩的思考を活用する革新的な手法である。 さらに,高度なコントラスト学習損失関数を開発し,新しいテンプレート・デノベーション・ストラテジーを提案する。 厳密な実験により、CoT-BERTは、事前訓練されたモデルの本質的な強みにのみ依存することにより、確立されたベースラインの範囲を超えることを示した。

関連論文リスト

• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• EquiPrompt: Debiasing Diffusion Models via Iterative Bootstrapping in Chain of Thoughts [14.632649933582648]
  EquiPromptは、テキストから画像への生成モデルにおけるバイアスを減らすために、Chain of Thought (CoT)推論を用いた新しい手法である。 反復的なブートストラップとバイアス対応の選択を統合し、創造性と倫理的責任のバランスを取る。
  論文  参考訳（メタデータ） (2024-06-13T12:55:10Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では、革新的な回帰フレームワークを提案し、2つの単純かつ効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 本手法は,7つのSTSベンチマーク,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を実現する。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [53.363888563647976]
  我々は,分解包含データセットに注釈を付けるための一貫した理論的なアプローチを開発した。 得られたデータセットRDTEは,従来よりも内部整合性(+9%)が高いことがわかった。 また, 知識蒸留によるRDTE指向エンテーメント分類器の訓練や, 現代のニューロシンボリック推論エンジンへの導入により, 結果が大幅に向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)
• Implicit Counterfactual Data Augmentation for Deep Neural Networks [3.6397924689580745]
  機械学習モデルは、非因果属性とクラスの間の急激な相関を捉える傾向にある。 本研究では,突発的相関を除去し,安定な予測を行う暗黙的対実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Robust Dialogue State Tracking with Weak Supervision and Sparse Data [2.580163308334609]
  対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため困難である。 サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。 そこで本研究では,詳細な手動スパンラベルを必要とせず,抽出DSTモデルを構築するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-07T16:58:12Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
  最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。 条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。 提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-10T07:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。