論文の概要: The Medium Is Not the Message: Deconfounding Text Embeddings via Linear Concept Erasure
- arxiv url: http://arxiv.org/abs/2507.01234v1
- Date: Tue, 01 Jul 2025 23:17:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:59.957633
- Title: The Medium Is Not the Message: Deconfounding Text Embeddings via Linear Concept Erasure
- Title（参考訳）: The Medium is not the Message: Deconfounding Text Embeddings via Linear Concept Erasure
- Authors: Yu Fan, Yang Tian, Shauli Ravfogel, Mrinmaya Sachan, Elliott Ash, Alexander Hoyle,
- Abstract要約: 埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。
本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
- 参考スコア（独自算出の注目度）: 91.01653854955286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding-based similarity metrics between text sequences can be influenced not just by the content dimensions we most care about, but can also be biased by spurious attributes like the text's source or language. These document confounders cause problems for many applications, but especially those that need to pool texts from different corpora. This paper shows that a debiasing algorithm that removes information about observed confounders from the encoder representations substantially reduces these biases at a minimal computational cost. Document similarity and clustering metrics improve across every embedding variant and task we evaluate -- often dramatically. Interestingly, performance on out-of-distribution benchmarks is not impacted, indicating that the embeddings are not otherwise degraded.
- Abstract（参考訳）: テキストシーケンス間の埋め込みベースの類似度メトリクスは、私たちが最も関心を持っているコンテンツ次元だけでなく、テキストのソースや言語のような刺激的な属性によっても影響を受けます。
これらのドキュメント共同創設者は、多くのアプリケーション、特に異なるコーパスからテキストをプールする必要がある問題を引き起こします。
本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
ドキュメントの類似性とクラスタリングのメトリクスは、私たちが評価する組み込みの亜種とタスクのすべてで改善します。
興味深いことに、アウト・オブ・ディストリビューションベンチマークのパフォーマンスは影響を受けておらず、埋め込みが他の方法では劣化していないことを示している。
関連論文リスト
- Quantifying Positional Biases in Text Embedding Models [9.735115681462707]
テキスト埋め込みにおけるコンテンツ位置と入力サイズの影響について検討する。
実験の結果, 埋め込みモデルは, 位置符号化機構によらず, 入力の開始点を不均等に優先順位付けしていることが判明した。
論文 参考訳（メタデータ） (2024-12-13T09:52:25Z) - Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。
本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。
実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
論文 参考訳（メタデータ） (2024-09-23T15:02:38Z) - Revisiting Evaluation Metrics for Semantic Segmentation: Optimization
and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。
これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。
ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
論文 参考訳（メタデータ） (2023-10-30T03:45:15Z) - Revisiting text decomposition methods for NLI-based factuality scoring
of summaries [9.044665059626958]
細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
論文 参考訳（メタデータ） (2022-11-30T09:54:37Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。