論文の概要: Adjusting Interpretable Dimensions in Embedding Space with Human Judgments

• arxiv url: http://arxiv.org/abs/2404.02619v1
• Date: Wed, 3 Apr 2024 10:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:50:35.093767
• Title: Adjusting Interpretable Dimensions in Embedding Space with Human Judgments
• Title（参考訳）: 人間の判断による埋め込み空間における解釈次元の調整
• Authors: Katrin Erk, Marianna Apidianaki,
• Abstract要約: 埋め込み空間は、性別、スタイルの形式性、さらにはオブジェクトの性質を示す解釈可能な次元を含む。 これらの次元を計算する標準的な方法は、シードワードの対比を使い、それらの上の差分ベクトルを計算する。 種に基づくベクトルと、単語が特定の次元に沿って落ちる場所の人間の評価からのガイダンスを組み合わせて、サイズや危険といったオブジェクト特性を予測する。
• 参考スコア（独自算出の注目度）: 15.311454588182707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embedding spaces contain interpretable dimensions indicating gender, formality in style, or even object properties. This has been observed multiple times. Such interpretable dimensions are becoming valuable tools in different areas of study, from social science to neuroscience. The standard way to compute these dimensions uses contrasting seed words and computes difference vectors over them. This is simple but does not always work well. We combine seed-based vectors with guidance from human ratings of where words fall along a specific dimension, and evaluate on predicting both object properties like size and danger, and the stylistic properties of formality and complexity. We obtain interpretable dimensions with markedly better performance especially in cases where seed-based dimensions do not work well.
• Abstract（参考訳）: 埋め込み空間は、性別、スタイルの形式性、さらにはオブジェクトの性質を示す解釈可能な次元を含む。 これは何回も観測されている。 このような解釈可能な次元は、社会科学から神経科学まで、さまざまな分野の研究において貴重な道具になりつつある。 これらの次元を計算する標準的な方法は、シードワードの対比を使い、それらの上の差分ベクトルを計算する。 これは単純だが、必ずしもうまくいかない。 我々は、種に基づくベクトルと、単語が特定の次元に沿って落ちる場所の人間の評価からのガイダンスを組み合わせるとともに、サイズや危険といったオブジェクト特性と、形式性や複雑さの様式的特性の両方を予測することを評価する。 特に種子ベースの寸法がうまく機能しない場合には, 極めて優れた性能を有する解釈可能な次元が得られる。

関連論文リスト

• Relative intrinsic dimensionality is intrinsic to learning [49.5738281105287]
  本稿では,データ分布の固有次元の概念を導入し,データの分離性特性を正確に把握する。 この本質的な次元に対して、上の親指の規則は法則となり、高本質的な次元は高度に分離可能なデータを保証する。 本稿では,2進分類問題における学習と一般化の確率について,上界と下界の両方に相対固有次元を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T10:41:45Z)
• Representation Of Lexical Stylistic Features In Language Models' Embedding Space [28.60690854046176]
  これらのスタイリスティックな概念のそれぞれに対して,少数のシードペアのみからベクトル表現を導出できることが示されている。 5つのデータセットで実験を行い、静的な埋め込みがこれらの特徴を単語やフレーズのレベルでより正確にエンコードすることを発見した。 単語レベルでの文脈化表現の低い性能は、ベクトル空間の異方性に起因する。
  論文  参考訳（メタデータ） (2023-05-29T23:44:26Z)
• Simple, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora [54.757845511368814]
  2つの文体を比較し、その用法が異なる単語を探すという問題は、しばしばデジタル人文科学や計算社会科学において生じる。 これは一般に、各コーパスに単語の埋め込みを訓練し、ベクトル空間を整列させ、整列空間における余弦距離が大きい単語を探すことでアプローチされる。 本稿では,ベクトル空間アライメントを使わず,各単語の近傍を考慮した代替手法を提案する。
  論文  参考訳（メタデータ） (2021-12-28T23:46:00Z)
• All Bark and No Bite: Rogue Dimensions in Transformer Language Models Obscure Representational Quality [5.203329540700176]
  我々は、文脈化された言語モデルに対するそのような尺度の有益性に疑問を投げかける。 少数のローグ次元(しばしば1-3)が類似度尺度を支配していることがわかった。
  論文  参考訳（メタデータ） (2021-09-09T16:45:15Z)
• HumanGPS: Geodesic PreServing Feature for Dense Human Correspondences [60.89437526374286]
  先行芸術はフレーム間の小さな動きを仮定するか、または大きな動きや視覚的に曖昧な身体部分を扱うことができないローカル記述子に依存します。 本稿では,各画素を特徴空間にマッピングし,特徴距離が画素間の測地距離を反映する深層学習フレームワークを提案する。 セマンティックアノテーションがなければ、提案する埋め込みは自動的に学習し、視覚的に類似した部分を区別し、異なる主題を統一された機能空間にまとめる。
  論文  参考訳（メタデータ） (2021-03-29T12:43:44Z)
• Quadric hypersurface intersection for manifold learning in feature space [52.83976795260532]
  適度な高次元と大きなデータセットに適した多様体学習技術。 この手法は、二次超曲面の交点という形で訓練データから学習される。 テスト時、この多様体は任意の新しい点に対する外れ値スコアを導入するのに使うことができる。
  論文  参考訳（メタデータ） (2021-02-11T18:52:08Z)
• ABID: Angle Based Intrinsic Dimensionality [0.0]
  内在的な次元性は、データ表現の次元性とは対照的に、データの真の次元性を指す。 局所固有次元を推定するための最も一般的な方法は距離に基づく。 角度の理論的分布を導出し、これを用いて固有次元の推定器を構築する。
  論文  参考訳（メタデータ） (2020-06-23T10:19:34Z)
• Mental representations of objects reflect the ways in which we interact with them [1.0207955314209531]
  本研究では,各次元が広い相互作用モードに対応する空間内でオブジェクトを表現する手法を提案する。 この空間の次元は、対象の最先端の心的表現におけるカテゴリー的および機能的次元を予測するのに利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T22:05:56Z)
• Geometry of Similarity Comparisons [51.552779977889045]
  空間形式の順序容量は、その次元と曲率の符号に関係していることを示す。 さらに重要なことは、類似性グラフ上で定義された順序拡散確率変数の統計的挙動が、その基礎となる空間形式を特定するのに利用できることである。
  論文  参考訳（メタデータ） (2020-06-17T13:37:42Z)
• Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding [0.0]
  それぞれの次元が、その次元の意味を記述できる人間の理解可能なヒントと結びついているシステムを作成する。 我々はこれらの埋め込みをスパース符号化により構築し、基底集合の各ベクトルはそれ自体がワード埋め込みである。 これらのスパース埋め込みを用いて訓練されたモデルは、優れた性能を達成でき、人的評価を含む実践上より解釈可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-08T19:49:49Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。