論文の概要: Unsupervised Representation Disentanglement of Text: An Evaluation on
Synthetic Datasets
- arxiv url: http://arxiv.org/abs/2106.03631v1
- Date: Mon, 7 Jun 2021 14:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 04:52:59.200226
- Title: Unsupervised Representation Disentanglement of Text: An Evaluation on
Synthetic Datasets
- Title(参考訳): テキストの教師なし表現の絡み合い:合成データセットの評価
- Authors: Lan Zhang, Victor Prokhorov, Ehsan Shareghi
- Abstract要約: 本稿では,画像領域から適用されたモデルの代表集合を選択する。
我々は,これらのモデルについて,下流の分類タスクやホモトピーと同様に,6つのアンタングルメント指標で評価する。
我々の研究は、教師なし表現の不絡とテキストの交わりに対する最初の試みである。
- 参考スコア(独自算出の注目度): 7.880941633496546
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: To highlight the challenges of achieving representation disentanglement for
text domain in an unsupervised setting, in this paper we select a
representative set of successfully applied models from the image domain. We
evaluate these models on 6 disentanglement metrics, as well as on downstream
classification tasks and homotopy. To facilitate the evaluation, we propose two
synthetic datasets with known generative factors. Our experiments highlight the
existing gap in the text domain and illustrate that certain elements such as
representation sparsity (as an inductive bias), or representation coupling with
the decoder could impact disentanglement. To the best of our knowledge, our
work is the first attempt on the intersection of unsupervised representation
disentanglement and text, and provides the experimental framework and datasets
for examining future developments in this direction.
- Abstract(参考訳): 教師なし設定でテキストドメインの表現ミスを解消することの課題を強調するために,画像領域から有効なモデルの代表的なセットを選択する。
我々は,これらのモデルについて,下流の分類タスクやホモトピーと同様に,6つのアンタングルメント指標で評価する。
評価を容易にするために,既知の生成因子を持つ2つの合成データセットを提案する。
実験では、テキスト領域の既存のギャップを強調し、(帰納バイアスとして)表現の空間性やデコーダとの表現結合といった特定の要素が歪みに影響を及ぼすことを示した。
我々の知識を最大限に活用するために、我々の研究は、教師なし表現のゆがみとテキストの交差する最初の試みであり、この方向への将来の発展を調べるための実験的なフレームワークとデータセットを提供する。
関連論文リスト
- Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-20T01:34:13Z) - Measuring Orthogonality in Representations of Generative Models [81.13466637365553]
教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。
独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。
我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2024-07-04T08:21:54Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Model Debiasing via Gradient-based Explanation on Representation [14.673988027271388]
本稿では,デリケートな属性やプロキシな属性に関して,デバイアスを行う新しいフェアネスフレームワークを提案する。
我々のフレームワークは、過去の最先端のアプローチよりも、構造化されていないデータセットと構造化されたデータセットの公平性と正確なトレードオフを達成しています。
論文 参考訳(メタデータ) (2023-05-20T11:57:57Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳(メタデータ) (2022-05-23T17:38:30Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳(メタデータ) (2021-07-25T13:18:55Z) - "Let's Eat Grandma": When Punctuation Matters in Sentence Representation
for Sentiment Analysis [13.873803872380229]
我々は、句読点が感情分析において重要な役割を果たすと論じ、構文的および文脈的パフォーマンスを改善するための新しい表現モデルを提案する。
公開データセットの実験を行い、モデルが他の最先端のベースラインメソッドよりも正確に感情を識別することができることを確認します。
論文 参考訳(メタデータ) (2020-12-10T19:07:31Z) - On the Transfer of Disentangled Representations in Realistic Settings [44.367245337475445]
1Mのシミュレーション画像と1,800以上の注釈付き実世界の画像を備えた新しい高解像度データセットを導入する。
本研究では,非交叉表現学習を現実的な高解像度設定に拡張するために,新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-10-27T16:15:24Z) - Deep Graph Contrastive Representation Learning [23.37786673825192]
ノードレベルでの対照的な目的を生かして,教師なしグラフ表現学習のための新しいフレームワークを提案する。
具体的には,この2つのビューにおけるノード表現の一致を最大化することにより,ノード表現の破損と学習によって2つのグラフビューを生成する。
我々は,様々な実世界のデータセットを用いて,帰納的および帰納的学習タスクの実証実験を行った。
論文 参考訳(メタデータ) (2020-06-07T11:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。