論文の概要: Inter-Rater Reliability of LLM and Rule-Based Annotation for Inferential Narrative Features: Three Studies on a Turkish Corpus
- arxiv url: http://arxiv.org/abs/2609.13936v1
- Date: Sat, 12 Sep 2026 13:31:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.615083
- Title: Inter-Rater Reliability of LLM and Rule-Based Annotation for Inferential Narrative Features: Three Studies on a Turkish Corpus
- Title（参考訳）: LLMの信頼度と推論的特徴に対する規則に基づくアノテーション:トルコ語コーパスに関する3つの研究
- Abstract要約: 本報告は,自動生成機能アノテーションを用いたデータセット内のラベルに人間が同意するかどうかという疑問に答える。
3つの研究結果が報告されている。5人の機械ラベル屋が0ドル、$40ドル、$72ドル、$78ドルと、人件費9ドルの対価を返した。
この特徴は真に推論不能であり、現在の自動検出以上のものであるか、あるいはルールの定義が整合的に適用できるほど十分に動作していないかの2点が残る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Datasets that ship automatically generated feature annotations invite a question rarely asked of them: would a human agree with those labels? This report answers that for the Objective Projection corpus, a Turkish narrative dataset whose scenes carry a per-scene applied_rules field from a rule-based detector over six craft features -- two prohibitions (emotion labelling, simile) and four positive techniques (materialized metaphor, micro-focus, temporal anchor, atmosphere contradiction). Three studies are reported. Study 1 ($n = 120$) scores the detector against blind labels from the scheme's own author. Study 2 ($n = 100$, a disjoint scene set) scores the detector plus Gemini 2.5 Flash and Grok against an independent non-expert rater whose labels were locked before any machine ran. Study 2b re-runs the identical protocol with Claude Fable 5 (High) and ChatGPT 5.5. The central result concerns one rule. On materialized metaphor -- closest to the methodology's theoretical core -- the five machine labellers returned positive rates of $0$, $1$, $40$, $72$ and $78$ out of $100$ scenes, against a human count of $9$. Cohen's $κ$ was at or indistinguishable from chance for five of six labellers, across both human references and both scene sets: $0.004$, $0.015$, $0.000$, $0.019$, $0.027$. Raw agreement ranged from $74.7\%$ to $84.5\%$, an artefact of class imbalance rather than a sign of competence. We deliberately do not resolve this into a single story. Two readings survive: the feature is genuinely inferential and beyond current automatic detection, or the rule's definition is not yet operational enough for any rater to apply consistently -- including the human. Distinguishing them needs a second independent human rater, which this report does not have and therefore does not claim.
- Abstract（参考訳）: 自動的に生成された機能アノテーションを出荷するデータセットは、ほとんど聞かれない質問を招待する。
本稿では,トルコの物語データセットであるObjective Projection corpusについて,ルールベースの6つの特徴(感情ラベル付け,シミレ)と4つの肯定的テクニック(メタファ,マイクロフォーカス,テンポラリアンカー,雰囲気の矛盾)について,ルールベースの検出装置からシーン1シーンのapped_rulesフィールドを運んだ。
3つの研究が報告されている。
研究1(n = 120$)は、このスキームの著者によるブラインドラベルに対する検出器のスコアである。
研究2(n = 100$, a disjoint scene set)では、検知器に加えてGemini 2.5 FlashとGrokが、マシンが動く前にラベルがロックされた独立した非専門家のレーダに対してスコアされる。
Study 2b は同じプロトコルを Claude Fable 5 (High) と ChatGPT 5.5 で再実行する。
中心的な結果は1つのルールである。
メソジカルなメタファー(方法論のコアに最も近い)では、5人のマシンラベラーが0ドル、$1ドル、$40ドル、$72ドル、$78ドルという正の利率を、人間による$9ドルに対して返した。
コーエンの$κ$は、人間の参照と両方のシーンセットの両方にまたがる6つのラベルラーの5つのうちの5つのチャンスと区別がつかない:$0.004$, $0.015$, $0.000$, $0.019$, $0.027$。
原価合意は74.7 %$から84.5 %$まで様々であった。
私たちは意図的にこれを1つのストーリーに分解しません。
この特徴は真に推論不能であり、現在の自動検出以上のものであるか、あるいはルールの定義はまだ人間を含むあらゆるレーダが一貫して適用できるほど動作していない。
それらを廃止するには第2の独立した人間率計が必要であるが、この報告書は持っておらず、従って主張もしていない。
関連論文リスト
- The Constitutional Coverage Trilemma in AI Governance [0.0]
AIシステムは、Emphconstitutional institutionsとして機能する。各デプロイされたモデルは、安全性、有用性、誠実性、自律性、株式の暗黙のランクを符号化する。
我々は、フロンティア憲法型の供給が人間の需要をカバーするかどうかを問う。
論文 参考訳（メタデータ） (2026-09-01T14:08:56Z) - VERDICT: Agreement Beats Pixel-Space Verification in Real-Document OCSR [6.923778751564602]
VERDICTは、分子記録の検索と検索のための画像ベースのインタフェースである。
構造画像、機械可読表現、およびソース公開情報をリンクするマルチモーダル分子データベースの検証済みラベルを可能にする。
論文 参考訳（メタデータ） (2026-08-23T02:41:06Z) - When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text [0.0]
皮肉テキストの信頼スコアは、非皮肉テキストよりも著しく低い。
以上の結果から,信頼度の高いシングルラベル予測から不確実性に留意することへの転換が示唆された。
論文 参考訳（メタデータ） (2026-08-15T17:41:45Z) - Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix [46.122203287541005]
目標条件付き予測器は、精度0.90$の精度で到達するが、これは知覚ではなく、インテンストラクションの書き起こしである。
ゴールを破って(0.90!to!0.27$, three seed)チャンスを逃し、予測アンカーに9.5%の時間を与える。
診断は、修正を規定する: ゴールを(プランナーのコストに属する)ダイナミクスから遠ざけ、エンフレッドパスを監督する。
論文 参考訳（メタデータ） (2026-07-08T02:38:43Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳（メタデータ） (2026-05-12T01:57:53Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Beating the Style Detector: Three Hours of Agentic Research on the AI-Text Arms Race [3.9508043303559828]
実験的なNLP研究を再現するには数週間を要した。
全コード、648ドル(約6,800円)の原案、訓練された検出器、診断、および敵の軌道がリリースされている。
論文 参考訳（メタデータ） (2026-05-04T14:10:41Z) - Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。
LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か?
277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文 参考訳（メタデータ） (2026-04-15T14:10:58Z) - Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News [47.03825808787752]
人間は、ニュース記事が人によって書かれたか、あるいは大きな言語モデル(LLM)によって書かれたかを知ることができますか?
本稿では,人間対機械(人間対機械)と正当性判定(正当性対偽判定)を連続的なスケールで測定する研究プラットフォームであるJiceGPTを用いて,この問題を考察する。
筆者らは,(1) 被験者が人文テキストから機械生成物を確実に識別できないこと,(2) 認知疲労による約30回の連続的な評価の後,その精度が低下すること,の5つを報告した。
論文 参考訳（メタデータ） (2026-04-04T15:03:42Z) - Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats [0.01116979912801043]
我々は、GPT-5.2、Grok 4.1、Claude Opus 4.5、DeepSeek-V3.2、Gemini Pro 3、および盲目、解答、偽解、そして模範的な条件下でのヒトマーカーに対する委員会集計を比較した。
n=771ドルのブラインド大学試験の質問に対して、モデルは差別的妥当性の強い分数平均絶対誤差(fMAE)$approx 0.22$を達成する。
$n=55$スクリプト全体において、盲目のAIマーキングは人間のマーキングよりも厳格で可変的であり、差別的妥当性はすでに貧弱である。
論文 参考訳（メタデータ） (2026-03-16T02:09:06Z) - Eroding the Truth-Default: A Causal Analysis of Human Susceptibility to Foundation Model Hallucinations and Disinformation in the Wild [47.03825808787752]
フェイクニュースの親しみ」は、被曝が人間の差別者に対する敵対的訓練として機能する可能性を示唆する中間者候補として出現する。
これらの結果から,「プレバンキング」介入は,人口層区分よりも認知源モニタリングを対象とすべきであることが示唆された。
論文 参考訳（メタデータ） (2026-01-30T11:49:58Z) - UFO$^2$: A Unified Framework towards Omni-supervised Object Detection [175.9693271392461]
UFO$2$は、異なる形式の監視を同時に処理できる統一オブジェクト検出フレームワークである。
具体的には、UFO$2$は、強力な監督(箱など)、様々な形式の部分的な監督(例えば、クラスタグ、ポイント、スクリブル)、ラベルなしのデータを含んでいる。
論文 参考訳（メタデータ） (2020-10-21T07:46:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。