Fugu-MT 論文翻訳(概要): Analyzing Text Representations by Measuring Task Alignment

論文の概要: Analyzing Text Representations by Measuring Task Alignment

arxiv url: http://arxiv.org/abs/2305.19747v1
Date: Wed, 31 May 2023 11:20:48 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 16:59:29.999850
Title: Analyzing Text Representations by Measuring Task Alignment
Title（参考訳）: タスクアライメント測定によるテキスト表現の分析
Authors: Cesar Gonzalez-Gutierrez, Audi Primadhanty, Francesco Cazzaro, Ariadna Quattoni
Abstract要約: 階層的クラスタリングに基づくタスクアライメントスコアを構築し,異なるレベルの粒度でアライメントを測定する。テキスト分類実験は、タスクアライメントが与えられた表現の分類性能を説明することができることを示すことによって、我々の仮説を検証する。
参考スコア（独自算出の注目度）: 2.198430261120653
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Textual representations based on pre-trained language models are key, especially in few-shot learning scenarios. What makes a representation good for text classification? Is it due to the geometric properties of the space or because it is well aligned with the task? We hypothesize the second claim. To test it, we develop a task alignment score based on hierarchical clustering that measures alignment at different levels of granularity. Our experiments on text classification validate our hypothesis by showing that task alignment can explain the classification performance of a given representation.
Abstract（参考訳）: 事前学習された言語モデルに基づくテキスト表現は、特に数少ない学習シナリオにおいて重要である。テキスト分類によい表現とは何か? 空間の幾何学的性質が原因なのか、それともタスクとうまく整合しているからなのか? 2つ目の主張を仮定する。そこで本研究では,階層的クラスタリングに基づくタスクアライメントスコアを構築し,異なるレベルの粒度でアライメントを測定する。テキスト分類実験では,タスクアライメントが与えられた表現の分類性能を説明できることを示すことにより,仮説を検証した。

関連論文リスト

Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers [12.610445666406898]
プレトレーニング言語モデル(PLM)の細粒度サブレイヤ表現に符号化された文脈化の程度について検討する。文脈化へのサブレイヤの主な貢献を識別するために、まず、最小限の異なる文対における多文単語のサブレイヤ表現を抽出する。また,これらのサブレイヤ表現に符号化された文脈化情報の強みを実証的にローカライズする。
論文参考訳（メタデータ） (2024-09-21T10:42:07Z)
Are we describing the same sound? An analysis of word embedding spaces of expressive piano performance [4.867952721052875]
表現力のあるピアノ演奏の特徴の領域における不確実性について検討する。 5つの埋め込みモデルとその類似性構造を基礎的真理に対応するために検証する。埋め込みモデルの品質は、このタスクに対して大きなばらつきを示している。
論文参考訳（メタデータ） (2023-12-31T12:20:03Z)
Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文参考訳（メタデータ） (2022-10-18T10:03:51Z)
Analyzing Text Representations under Tight Annotation Budgets: Measuring Structural Alignment [2.198430261120653]
厳密なアノテーションの予算の下では、データ表現の選択が重要になります。与えられた表現がタスクと構造的に整合している範囲を測定する指標を提案する。
論文参考訳（メタデータ） (2022-10-11T18:28:19Z)
Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文参考訳（メタデータ） (2022-04-15T07:38:08Z)
Conditional probing: measuring usable information beyond a baseline [103.93673427217527]
ある表現が、その表現がベースライン表現を探索するよりも高い精度を生成する場合、その表現がプロパティを符号化することを示唆する。本稿では,ベースライン内の情報に対して明示的に条件を定め,条件付き探索を提案する。ケーススタディでは、非文脈単語埋め込みを条件付けした後、部分音声のような特性がネットワークの深い層でアクセス可能であることが判明した。
論文参考訳（メタデータ） (2021-09-19T21:56:58Z)
Exploring Set Similarity for Dense Self-supervised Representation Learning [96.35286140203407]
本研究では,高密度自己教師型表現学習のためのtextbfset textbfsimilarity (SetSim) を提案する。ピクセルワイドの類似性学習をセットワイドに一般化し,よりセマンティックな情報や構造的な情報を含むため,ロバスト性を向上させる。具体的には、ビューの注意的特徴に頼って対応する集合を定め、不適切な対応を引き起こす可能性のあるノイズの多い背景をフィルタリングする。
論文参考訳（メタデータ） (2021-07-19T09:38:27Z)
DirectProbe: Studying Representations without Classifiers [21.23284793831221]
DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
論文参考訳（メタデータ） (2021-04-13T02:40:26Z)
X-Class: Text Classification with Extremely Weak Supervision [39.25777650619999]
本稿では,極めて弱い監督下でのテキスト分類について検討する。適応表現を実現するための新しいフレームワーク X-Class を提案する。 X-Classは7つのベンチマークデータセットで、シード駆動の弱教師付きメソッドに匹敵し、パフォーマンスも向上する。
論文参考訳（メタデータ） (2020-10-24T06:09:51Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。