論文の概要: Measuring Human Value Expression in Social Media Texts: Calibrated LLM Annotation and Encoder Transfer
- arxiv url: http://arxiv.org/abs/2606.11018v1
- Date: Tue, 09 Jun 2026 15:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.595108
- Title: Measuring Human Value Expression in Social Media Texts: Calibrated LLM Annotation and Encoder Transfer
- Title（参考訳）: ソーシャルメディアテキストにおける人的価値表現の測定--LCMアノテーションとエンコーダ転送の校正
- Authors: Maria Milkova, Maksim Rudnev,
- Abstract要約: シュワルツの基本的な人的価値の理論に基づく非英語のソーシャルメディア投稿を用いて、異なるLLMがテキストにおける価値の表現をどのように運用するかを検討する。
我々は,異なるLLMが異なる値解釈を生成することを示す。誤り解析による反復的迅速な校正は誤帰を減少させる。
我々は、繰り返し発生するエラー構造から専門家による検証ルールを抽出し、コーパスアノテーション中にそれらを使用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Measuring subjective constructs in naturally occurring social media text requires annotation procedures that are theoretically grounded, empirically validated, and transferable to an encoder model for scalable prediction. Using non-English social media posts annotated according to Schwartz's theory of basic human values, we investigate how different LLMs, prompts, and instruction languages operationalize the expression of values in text. We argue that although texts may permit multiple plausible interpretations, theory-based value definitions can constrain interpretations and reduce spurious value attributions. Beyond precision, recall, and F1, we evaluate structural alignment between values, error structure, confidence-ambiguity relations, and annotation stability. We show that different LLMs produce different value interpretations. Iterative prompt calibration through error analysis reduces misattributions and improves alignment with expert annotations. We also derive targeted expert verification rules from recurrent error structures and use them during corpus annotation. Finally, we show that LLM annotations can be transferred to an encoder model through soft-label training, retaining theory-based value interpretations and information about uncertainty in value expression.
- Abstract（参考訳）: 自然発生のソーシャルメディアテキストにおける主観的構成の測定には、理論的に根拠付けられ、実証的に検証され、スケーラブルな予測のためにエンコーダモデルに転送可能なアノテーション手順が必要である。
シュワルツの基本的な人的価値の理論に基づいてアノテートされた非英語のソーシャルメディア投稿を用いて、異なるLLM、プロンプト、命令言語がどのようにテキストの値表現を運用するかを検討する。
テキストは複数のもっともらしい解釈を許容するが、理論に基づく価値定義は解釈を制約し、素早い価値帰属を減らすことができると論じる。
精度, リコール, F1の他に, 値, 誤差構造, 信頼・あいまいさの関係, アノテーションの安定性などの構造的整合性を評価する。
異なるLLMが異なる値解釈を生成することを示す。
エラー解析による反復的迅速な校正は、誤った属性を減らし、専門家のアノテーションとの整合性を改善する。
また、繰り返し発生するエラー構造から専門家による検証ルールを抽出し、コーパスアノテーション中に使用します。
最後に、LLMアノテーションは、理論に基づく値解釈と値表現の不確実性に関する情報を保持するソフトラベルトレーニングによってエンコーダモデルに転送可能であることを示す。
関連論文リスト
- Optimizing LLM Annotation of Classroom Discourse through Multi-Agent Orchestration [0.21410799064827235]
大規模言語モデル(LLM)は、教育データを注釈付けするためのスケーラブルなツールとしてますます位置づけられている。
しかし, シングルパスLCMの出力は, ハイテイクな教育施設では信頼性が低いことが示唆されている。
このスケールと妥当性の緊張は、現代の教育データ科学の核心にある。
論文 参考訳（メタデータ） (2026-03-08T16:51:03Z) - When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。
本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。
ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
論文 参考訳（メタデータ） (2026-02-09T05:58:41Z) - Enhancing LLM-Based Data Annotation with Error Decomposition [6.6544828402388445]
大規模言語モデルは、データアノテーションタスクのための人間のコーディングに代わるスケーラブルな代替手段を提供する。
主観的アノテーションタスクのパフォーマンスは、一貫性が低く、エラーを起こしやすい。
モデル駆動不正確性からタスク独立性の曖昧さを分離するために,ヒューマン・イン・ザ・ループのステップを取り入れた診断評価パラダイムを提案する。
論文 参考訳（メタデータ） (2026-01-17T05:43:17Z) - Variance-Aware LLM Annotation for Strategy Research: Sources, Diagnostics, and a Protocol for Reliable Measurement [0.3228822469249803]
大規模言語モデル(LLM)は、戦略研究者が大規模にテキストを注釈付けするための強力なツールを提供する。
しかし、LCM生成ラベルを決定論的見落としとして扱うことは、かなり不安定である。
我々は,構成仕様,インターフェース効果,モデル嗜好,出力抽出,システムレベルの集約という,5つのばらつき源を診断する。
論文 参考訳（メタデータ） (2025-12-02T18:02:20Z) - Surrogate Representation Inference for Noisy Text and Image Annotations [0.0]
代理表現推論(Surrogate Representation Inference)は、構造化されていないデータが人間のアノテーションと構造化変数の関係を完全に仲介していると仮定する。
複数の人間のアノテーションが利用できる場合、SRIは人間のアノテーションに存在する可能性のある非微分測定誤差をさらに補正することができる。
論文 参考訳（メタデータ） (2025-09-15T20:09:21Z) - Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。
我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。
合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
論文 参考訳（メタデータ） (2025-06-20T13:21:14Z) - MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。
MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。
LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
論文 参考訳（メタデータ） (2025-03-26T11:09:21Z) - Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。
実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
論文 参考訳（メタデータ） (2024-10-06T08:33:39Z) - Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations [48.07182711678573]
ASTrustは、モデル信頼度とプログラミング言語の構文構造の関係に基づく説明を生成する。
ASTからの構文構造のシーケンス, 熱マップ, グラフに基づく可視化を重畳した, モデル信頼度スコアを自動可視化する。
論文 参考訳（メタデータ） (2024-07-12T04:38:28Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。