論文の概要: Grounding Text Embeddings in Stakeholder Associations
- arxiv url: http://arxiv.org/abs/2605.27168v1
- Date: Tue, 26 May 2026 15:24:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.380179
- Title: Grounding Text Embeddings in Stakeholder Associations
- Title(参考訳): 株主団体における接地テキスト埋め込み
- Authors: Jonathan Rystrøm, Sofie Burgos-Thorsen, Zihao Fu, Johan Irving Søltoft, Kenneth C. Enevoldsen, Chris Russell,
- Abstract要約: 本稿では,人間の理解において,専門家関係を明確化し,埋め込みモデルを基礎づける手法を提案する。
デンマークの政策問題に関する主要なケーススタディでは、ニューラルネットワークの埋め込みは人間の専門家よりもかなり信頼性が低いことが分かりました。
米国連邦政府のAIユースケースに関する二次研究は、デジタルプロトコルと専門家の異なるコミュニティを使ってギャップを再現している。
- 参考スコア(独自算出の注目度): 9.335511585172585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text embeddings are widely used to analyse large corpora of complex texts. However, it is unclear whether the embeddings capture the same semantic distances as the human experts using them. Ensuring alignment between embedding representations and human intentions is essential for valid analyses. We present the Stakeholder Grounding Exercise, a method for making expert associations explicit and grounding embedding model results in human understanding. In our primary case study on Danish policy issues, we find that neural text embeddings are substantially less reliable than human experts (19-26 pp gap), and that this misalignment propagates to downstream clustering performance (Spearman $ρ=0.9$ between exercise ranking and cluster quality). A secondary study on US Federal AI use cases replicates the gap (16pp) in English, using a digital protocol and a different community of experts -- demonstrating that the gap is not an artefact of a single instrument or domain. The Stakeholder Grounding Exercise offers a practical method for assessing whether embedding models capture the semantic distinctions that matter most to domain experts.
- Abstract(参考訳): テキスト埋め込みは、複雑なテキストの大きなコーパスを分析するために広く使われている。
しかし、埋め込みが人間の専門家と同じ意味距離を捉えているかどうかは不明である。
埋め込み表現と人間の意図の整合性を確保することは、有効な分析に不可欠である。
本研究では,人間理解の場として,知識者関係を明確化し,埋め込みモデルを構築する手法であるStakeholder Grounding Exerciseを提案する。
デンマークの政策問題に関する主要なケーススタディでは、ニューラルネットワークの埋め込みは人間の専門家(19-26ppのギャップ)よりもかなり信頼性が低く、このミスアライメントが下流のクラスタリング性能(エクササイズランキングとクラスタ品質の間のSpearman $ρ=0.9$)に伝播していることがわかった。
米国連邦AIのユースケースに関する2次研究は、デジタルプロトコルと専門家の異なるコミュニティを使って、英語のギャップ(16pp)を再現している。
Stakeholder Grounding Exerciseは、埋め込みモデルがドメインの専門家にとって最も重要な意味的な区別を捉えているかどうかを評価するための実践的な方法を提供する。
関連論文リスト
- BAID: A Benchmark for Bias Assessment of AI Detectors [9.156813547624923]
本稿では,AI検出器の各種バイアスに対する包括的評価フレームワークであるBAIDを提案する。
人口統計,年齢,教育年数,方言,形式,政治的傾倒,話題の7つのカテゴリーにまたがる200万以上のサンプルを紹介した。
検出性能には一貫した相違があり、特に低表現群からのテキストのリコールレートは低い。
論文 参考訳(メタデータ) (2025-12-12T12:01:42Z) - DAMASHA: Detecting AI in Mixed Adversarial Texts via Segmentation with Human-interpretable Attribution [20.178134447843092]
先進的な大規模言語モデルの時代、人間とAIが生成するテキストの境界はますます曖昧になりつつある。
我々は,テクスチャ的手がかり,パープレキシティ駆動信号,構造化境界モデリングを統合した,情報マスクと呼ばれる新しいフレームワークを導入する。
以上の結果から,反対に頑健で,解釈可能な混合オーサシップ検出の可能性と限界が指摘された。
論文 参考訳(メタデータ) (2025-12-04T14:21:42Z) - Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。
提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。
コード、事前トレーニングされたウェイト、デモがリリースされる。
論文 参考訳(メタデータ) (2025-10-07T08:14:45Z) - The Quest for the Right Mediator: Surveying Mechanistic Interpretability Through the Lens of Causal Mediation Analysis [51.046457649151336]
本稿では,因果媒介分析に基づく解釈可能性研究の視点を提案する。
本稿では, 原因単位(メディエーター)の種類に応じて分類された解釈可能性の歴史と現状について述べる。
我々は,各メディエータの長所と短所について論じ,特定の種類のメディエータや検索手法が最適であるかどうかについての洞察を提供する。
論文 参考訳(メタデータ) (2024-08-02T17:51:42Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳(メタデータ) (2023-04-24T08:53:54Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳(メタデータ) (2021-10-04T03:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。