論文の概要: Measuring Definition Sensitivity in LLM Annotation of Social Science Concepts
- arxiv url: http://arxiv.org/abs/2611.13339v2
- Date: Wed, 11 Nov 2026 23:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.900869
- Title: Measuring Definition Sensitivity in LLM Annotation of Social Science Concepts
- Title(参考訳): 社会科学概念のLCMアノテーションにおける定義感度の測定
- Abstract要約: 社会科学研究において、テキストアノテーションは、伝統的にコストがかかる、スケールの難しい手作業である基本的なタスクである。
ヘイトスピーチ、フェイクニュース、テロリズムといった概念は、理論上は証明可能ないくつかの競合する定義を持つ。
また、モデルが実際にラベルを提供するために定義を適用したのか、あるいはラベルはモデルが予め訓練した概念に基づいていたのかも不明である。
- 参考スコア(独自算出の注目度): 9.38379139005195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In social science research, text annotation is a fundamental task that is traditionally a costly, hard-to-scale manual process. Researchers have used large language models (LLMs) to perform annotation by writing a definition of a concept into a prompt - a rule that determines whether a label should be attributed to a text depending on its content. However, concepts such as hate speech, fake news, and terrorism typically have several theoretically defensible competing definitions. It is also unknown whether the model actually applied the definition to provide the label or the label was based on the model's pretrained notion of the concept. To test this, we have the model annotate the same texts twice, each time with a different definition. We call the disagreement between the two sets of annotations definition sensitivity. As a control, we paraphrase one definition but leave its requirements unchanged - the disagreement between the annotations with the two wordings becomes the paraphrase floor. Across six concepts and three LLMs, a swap of competing definitions always changes more annotations, on average, than a paraphrase. This shows that the annotations depend on the prompted definition, so any set of annotations should be interpreted together with the definition that produced it. The LLM annotator's definition sensitivity and its paraphrase floor should both be reported in such work.
- Abstract(参考訳): 社会科学研究において、テキストアノテーションは、伝統的にコストがかかる、スケールの難しい手作業である基本的なタスクである。
研究者は大規模な言語モデル(LLM)を使用して、概念の定義をプロンプトに書き込むことでアノテーションを実行している。
しかし、ヘイトスピーチ、フェイクニュース、テロリズムといった概念は、理論上は証明可能ないくつかの競合する定義を持っている。
また、モデルが実際にラベルを提供するために定義を適用したのか、あるいはラベルはモデルが予め訓練した概念に基づいていたのかも不明である。
これをテストするために、同じテキストを2回、異なる定義でアノテートするモデルを用意します。
アノテーション定義の2つのセット間の不一致を、定義の感度と呼びます。
コントロールとして、1つの定義を言い換えるが、その要件は変わらない - アノテーションと2つのワードの相違がパラフレーズフロアとなる。
6つの概念と3つの LLM にまたがって、競合する定義の交換は常にパラフレーズよりも平均的に多くのアノテーションを変更する。
これはアノテーションが引き起こされた定義に依存していることを示しているので、アノテーションのセットはそれを生成する定義と一緒に解釈されるべきである。
LLMアノテータの定義感度とパラフレーズフロアはどちらもこのような研究で報告されるべきである。
関連論文リスト
- Articulation Upper Bounds for Language Models [100.6089240273656]
それぞれの概念が2つのLLM間でどれだけうまく伝達できるかを測定する。
最適なメッセージで伝達される概念の透過性は、送信機と受信機容量が増加するにつれて増大する。
8つの領域で1.2kの概念を測ると、(a)が完全に調音できるという概念が見つかる。
これらの概念の意味は、アイデンティティと社会集団の認識と結びついている。
論文 参考訳(メタデータ) (2026-10-14T07:47:31Z) - Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation [0.21483624911986507]
多くの自動ラベリングパイプラインは、入力を記述された仕様で定義されたカテゴリに分類する。
1つの解決策は、ラベラーが記述された解釈に異を唱えることができないような、十分な実際の境界条件を解決した規範的な定義を書くことである。
実際には、その詳細レベルでの定義は人間のアノテータがワーキングメモリで保持できるものを超えているので、ラベルは記述されたルールから逸脱する。
我々は、エッジケースをカバーするのに十分な詳細でラベルを定義するカテゴリごとのコンフィグレーションの記述を支援するAI駆動ワークフローの有効性を提案し、実証する。
論文 参考訳(メタデータ) (2026-05-22T21:52:12Z) - Towards Automated Lexicography: Generating and Evaluating Definitions for Learner's Dictionaries [37.91511820811209]
辞書定義生成(DDG)、すなわち、与えられた見出しに対する非文脈定義の生成について研究する。
具体的には,学習者の辞書定義生成(LDDG)に対処する。
論文 参考訳(メタデータ) (2026-01-05T07:11:24Z) - Definition generation for lexical semantic change detection [3.7297237438000788]
ダイアクロニック辞書意味変化検出(LSCD)タスクにおける意味表現として,大言語モデルによって生成された文脈化された単語定義を用いる。
つまり、生成された定義を感覚として使用し、比較対象単語の変化スコアを、比較対象単語の分布を2つの期間に比較して検索する。
本手法は従来の非教師付きLSCD法と同等か優れる。
論文 参考訳(メタデータ) (2024-06-20T10:13:08Z) - "Definition Modeling: To model definitions." Generating Definitions With
Little to No Semantics [0.4061135251278187]
我々は、このタスクが期待するほど意味論を含まないかもしれないという証拠を提示する。
文献から得られた先行モデルは、明示的なポリセミズムのような意味的側面にかなり敏感であることを示す。
論文 参考訳(メタデータ) (2023-06-14T11:08:38Z) - LEACE: Perfect linear concept erasure in closed form [97.78661458934953]
概念消去は、埋め込みから特定の機能を削除することを目的としている。
LEAst-squares Concept Erasure (LEACE) は、すべての線形分類器が可能な限り少ない埋め込みで概念を検出することを確実に防止する閉形式手法である。
LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
論文 参考訳(メタデータ) (2023-06-06T16:07:24Z) - Semantic Role Labeling Meets Definition Modeling: Using Natural Language
to Describe Predicate-Argument Structures [104.32063681736349]
本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。
PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
論文 参考訳(メタデータ) (2022-12-02T11:19:16Z) - Efficient Zero-shot Event Extraction with Context-Definition Alignment [50.15061819297237]
イベント抽出(EE)は、テキストから関心のあるイベント参照を特定するタスクである。
イベントタイプ名の静的な埋め込みは、1つの単語があいまいなため、十分ではないかもしれない、と私たちは主張する。
我々はZED(Zero-shot Event extract with Definition)と名付けた。
論文 参考訳(メタデータ) (2022-11-09T19:06:22Z) - Connect-the-Dots: Bridging Semantics between Words and Definitions via
Aligning Word Sense Inventories [47.03271152494389]
Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。
既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。
我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-27T00:04:33Z) - Lexical Sememe Prediction using Dictionary Definitions by Capturing
Local Semantic Correspondence [94.79912471702782]
セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。
本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。
我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
論文 参考訳(メタデータ) (2020-01-16T17:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。