論文の概要: Ensemble Distillation for Unsupervised Constituency Parsing

• arxiv url: http://arxiv.org/abs/2310.01717v1
• Date: Tue, 3 Oct 2023 01:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 18:06:26.396093
• Title: Ensemble Distillation for Unsupervised Constituency Parsing
• Title（参考訳）: 教師なし構成解析のためのアンサンブル蒸留
• Authors: Behzad Shayegh, Yanshuai Cao, Xiaodan Zhu, Jackie C.K. Cheung, Lili Mou
• Abstract要約: 文の語句を言語的に注釈付けされたデータを用いることなく階層構造に整理する,教師なし選挙区構文解析タスクについて検討する。 そこで我々は,教師なし構文解析のための新しいアンサンブル手法を提案する。
• 参考スコア（独自算出の注目度）: 43.95329657202925
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We investigate the unsupervised constituency parsing task, which organizes words and phrases of a sentence into a hierarchical structure without using linguistically annotated data. We observe that existing unsupervised parsers capture differing aspects of parsing structures, which can be leveraged to enhance unsupervised parsing performance. To this end, we propose a notion of "tree averaging," based on which we further propose a novel ensemble method for unsupervised parsing. To improve inference efficiency, we further distill the ensemble knowledge into a student model; such an ensemble-then-distill process is an effective approach to mitigate the over-smoothing problem existing in common multi-teacher distilling methods. Experiments show that our method surpasses all previous approaches, consistently demonstrating its effectiveness and robustness across various runs, with different ensemble components, and under domain-shift conditions.
• Abstract（参考訳）: 文の語句を言語的に注釈付けされたデータを用いることなく階層構造に整理する教師なし選挙区構文解析タスクについて検討する。 既存の教師なし構文解析器は、教師なし解析性能を向上させるために利用することができる解析構造の異なる側面を捉えている。 そこで本研究では,教師なし構文解析のための新しいアンサンブル手法を提案する。 推論効率を向上させるために,学生モデルにさらにアンサンブル知識を蒸留する。このようなアンサンブル・テン蒸留プロセスは,一般的なマルチティーチンガー蒸留法に存在する過度に平滑な問題を緩和するための効果的なアプローチである。 実験により,本手法は従来手法を超越し,様々な動作,異なるアンサンブル成分,ドメインシフト条件下での有効性とロバスト性を示した。

関連論文リスト

• Disentangled and Self-Explainable Node Representation Learning [1.4002424249260854]
  自己説明可能な埋め込みを教師なしで生成するフレームワークであるDiSeNEを紹介する。 本手法では,次元的に解釈可能な埋め込みを生成するために,不整合表現学習を用いる。 新規なデシラタを,新たな目的関数を駆動するアンタングルと解釈可能な埋め込みのために定式化した。
  論文  参考訳（メタデータ） (2024-10-28T13:58:52Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Tree-Averaging Algorithms for Ensemble-Based Unsupervised Discontinuous Constituency Parsing [23.091613114955543]
  予測木を平均化することにより,既存の不連続な動作の異なるアンサンブルを構築することを提案する。 次に、タスクに取り組むための効率的な正確なアルゴリズムを開発し、全てのサンプルに対して妥当な時間で実行します。 3つのデータセットの結果は、我々のメソッドがすべてのメトリクスですべてのベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-02-29T21:49:31Z)
• Causal Unsupervised Semantic Segmentation [60.178274138753174]
  教師なしセマンティックセグメンテーションは、人間のラベル付きアノテーションなしで高品質なセマンティックセマンティックセグメンテーションを実現することを目的としている。 本稿では、因果推論からの洞察を活用する新しいフレームワークCAUSE(CAusal Unsupervised Semantic sEgmentation)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:54:44Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Demystifying Unsupervised Semantic Correspondence Estimation [13.060538447838303]
  教師なし学習のレンズによる意味対応推定について検討する。 我々は、最近提案された複数の課題データセットにまたがる教師なしの手法を徹底的に評価した。 本稿では,事前学習した特徴の強さを活かし,トレーニング中のより優れた試合を奨励する,新しい教師なし対応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T17:59:51Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)
• Rethinking Ensemble-Distillation for Semantic Segmentation Based Unsupervised Domain Adaptation [6.487749466672554]
  セマンティックセグメンテーションに基づくUDAを実現するためのフレキシブルアンサンブル蒸留フレームワークを提案する。 私たちのフレームワークは、アンサンブル内の出力不整合とメンバーのパフォーマンス変動に対して堅牢に設計されています。
  論文  参考訳（メタデータ） (2021-04-29T08:47:24Z)
• Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation [39.95831985522991]
  セマンティック・コセグメンテーションとデータ強化によってガイドされるより信頼性の高い監視と統合されたフレームワークを提案する。 提案手法は教師なし手法の最先端性能を実現し,教師付き手法と同等に競合する。
  論文  参考訳（メタデータ） (2021-04-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。