論文の概要: Reliable but Design-Sensitive: Instrument Uncertainty in LLM Annotation

• arxiv url: http://arxiv.org/abs/2609.35824v1
• Date: Tue, 22 Sep 2026 12:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.306793
• Title: Reliable but Design-Sensitive: Instrument Uncertainty in LLM Annotation
• Title（参考訳）: 信頼性・設計感度:LDMアノテーションにおける機器の不確かさ
• Abstract要約: 大きな言語モデル(LLM)は、信頼できるラベルを1つの設定で提供できるが、研究者が他の合理的な設計選択を行うと、ラベルを変更することができる。 同じモデルとタスクデザインを繰り返すことで、高い合意が得られた。 6つのツイートを1つにまとめると、攻撃的な言語への信頼度は660ポイント低下した。
• 参考スコア（独自算出の注目度）: 5.892782950865299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can give reliable labels under one setup yet change those labels when researchers make other reasonable design choices. We tested seven LLMs, 12 task designs, three independent runs, and 3,000 tweets labeled for offensive language and hate speech. Repeating the same model and task design produced high agreement (median Fleiss' $κ= 0.91$). Agreement fell when we changed the task design for the same tweets (median Cohen's $κ= 0.76$). Task design and model choice increased the variance of estimated prevalence by factors of 76.7 for offensive language and 110.6 for hate speech compared with sampling variance alone. Variation across LLM task designs reached 560-572 basis points, compared with 270-331 basis points across five human instrument versions. Confidence scores did not solve this problem. They tracked repeated model outputs more closely than agreement with human labels, and grouping six tweets in one prompt lowered mean offensive-language confidence by 660 basis points. We call the variation caused by task design and model choice instrument uncertainty. Researchers can measure it only by comparing reasonable task designs. Repeating one setup or relying on confidence scores cannot replace that test.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、信頼できるラベルを1つの設定で提供できるが、研究者が他の合理的な設計選択を行うと、ラベルを変更することができる。 私たちは7つのLSM、12のタスクデザイン、3つの独立した実行、3000のツイートを攻撃的な言語とヘイトスピーチにラベル付けしました。 同じモデルとタスク設計を繰り返すことで、Fleiss の $κ = 0.91$ という高額な合意が得られた。 同じツイートのタスク設計を変更したとき、合意は下がった(Cohen氏の$κ= 0.76$)。 タスク設計とモデル選択は、サンプル分散単独と比較して、攻撃言語76.7因子、ヘイトスピーチ110.6因子による推定有病率のばらつきを増大させた。 LLMのタスクデザインのバリエーションは560-572のベースポイントに到達し、5つの楽器バージョンで270-331のベースポイントに達した。 信頼度はこの問題を解決しなかった。 また、6つのツイートを1つにまとめることで、攻撃的な言語に対する信頼度を660ポイント下げることができた。 タスク設計とモデル選択器の不確実性によって引き起こされる変化を, と呼ぶ。 研究者は、合理的なタスク設計を比較することでのみ測定できる。 1つのセットアップを繰り返したり、信頼度に頼ったりしても、そのテストに取って代わることはできません。

関連論文リスト

• What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation [0.0]
  言語モデルがすでに与えられた答えを説明するとき、その答えを生成した計算を再利用するか、あるいは回答からのみストーリーを再構築するかを示します。 検証された変数の同一性を除去する変数固有nullと、それぞれ正の統計量とをペアリングするエビデンス標準を提案する。
  論文  参考訳（メタデータ） (2026-09-26T14:26:14Z)
• SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
  本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。 タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。 次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
  論文  参考訳（メタデータ） (2026-09-02T08:40:07Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions [2.5613469613039075]
  単発の言語化された信頼度は驚くほど高いが、いくつかの異なる価値しか持たないことを示す。 どの構造がこのギャップを広げるか、どの推論コスト、ランキングにどのような影響があるかを示す。 これらのトレードオフを具体的なデプロイメントガイダンスに変換します。
  論文  参考訳（メタデータ） (2026-06-20T18:20:43Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。