論文の概要: Beyond the Keyword: A Human-Annotated Benchmark for Arabic Anxiety-Related Discourse
- arxiv url: http://arxiv.org/abs/2611.07949v1
- Date: Thu, 05 Nov 2026 12:45:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.687733
- Title: Beyond the Keyword: A Human-Annotated Benchmark for Arabic Anxiety-Related Discourse
- Title（参考訳）: アラビア語の不安関連談話のための人による注釈付きベンチマーク「Beyond the Keyword」
- Abstract要約: 我々は、qalaq(不安/心配)というキーワードで検索された1000のアラビア語のTwitter/Xポストのベンチマークを示す。
2つのアラビア語話者のアノテーターがそれぞれのポストを独立にラベル付けし、51.1%の生の合意に達した。
ガイドライン、残留サブタイプスキーム、固定データ分割、ラベル、評価コードをリリースする。
- 参考スコア（独自算出の注目度）: 0.7144923631716894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyword retrieval returns expressions of personal anxiety together with many other uses of anxiety-related language. We present a benchmark of 1,000 Arabic Twitter/X posts retrieved with the keyword qalaq ("anxiety/worry") and annotated for six discourse functions. Two native Arabic-speaking annotators labeled every post independently, reaching 51.1% raw agreement (Cohen's $κ= 0.378$). We then reviewed all 489 disagreements and all 511 agreements under the same guidelines. The review changed 120 of the agreed labels (23.5%), which shows that agreements need auditing as well as disagreements. The final labels form a consensus reference; on a random sample of 200 posts, an additional annotator agreed with it on 60.5% of posts ($κ= 0.517$). Against this reference, Fanar-C-2-27B reaches 79.8% accuracy and macro-F1 0.784 ($κ= 0.749$). Its errors concentrate in the residual category (41.1% of errors; precision 0.905, recall 0.447), whose definition is internally inconsistent in the executed prompt, so the low recall cannot be attributed to the model alone. Sociopolitical Anxiety (27.1%) outnumbers Personal Emotional Expression (22.0%); these are assignment proportions in the sample, not estimates of prevalence or retrieval precision. We release the guidelines, a residual-subtype scheme, a fixed data split, label provenance, and evaluation code.
- Abstract（参考訳）: キーワード検索は、不安関連言語の他の多くの利用と共に、個人的不安の表現を返す。
アラビア語のTwitter/X投稿1000件をキーワードqalaq(不安/怒り)で検索し、6つの談話関数に注釈付けしたベンチマークを示す。
2つのアラビア語を話すアノテーターがそれぞれのポストを独立にラベル付けし、51.1%の生の合意に達した(コーエンの$κ=0.378$)。
その後、同じガイドラインの下で489の意見の一致と511の合意をすべてレビューしました。
レビューでは120のラベル(23.5%)が変更され、合意には監査と意見の相違が必要であることが示された。
最終的なラベルはコンセンサス・レファレンスを形成し、ランダムな200の投稿のサンプルでは、追加のアノテーターが60.5%の投稿(κ=0.517$)でそれに同意した。
これに対し、Fanar-C-2-27Bは79.8%の精度でマクロF1 0.784(κ= 0.749$)に達する。
そのエラーは残留カテゴリ(41.1%のエラー、精度0.905、リコール0.447)に集中しており、その定義は実行プロンプトで内部的に矛盾しているため、低いリコールはモデルだけでは帰属できない。
社会政治不安(27.1%)は、個人感情表現(22.0%)を上回っている。
ガイドライン、残留サブタイプスキーム、固定データ分割、ラベル証明、評価コードをリリースする。
関連論文リスト
- Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider [0.0]
プロダクションシステムは、データベース上に書き込んだすべての回答に信頼スコアを付け、それを使用して、回答を示し、警告でそれを表示し、保持する。
この論文はその設計を監査する。
BIRDの1,534の質問に対して、GPT-5.1は、ベンチマーク適応された生産プロンプトと1問あたり5つのサンプルで回答し、設計されたスコアは、間違った回答(AUROC 0.624, 95% CI 0.595-0.652)から正しく分離し、正しい回答の35.7%を抑える。
論文 参考訳（メタデータ） (2026-10-12T18:14:43Z) - SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs [32.72182829728677]
思考可能な視覚言語モデル(VLM)は、空間的ベンチマークにおいてずっと高い精度を報告している。
しかし、最終回答スコアは、正しい予測が忠実な空間的推論や言語的ショートカットを反映しているかを明らかにすることはできない。
28350のトレーニングデータセットであるSpatialChainと、空間指向のGQA質問と、シーングラフに基づく推論チェーンをペアにした899のテスト例を紹介する。
論文 参考訳（メタデータ） (2026-10-05T14:29:54Z) - World Requirement Model: Learning Requirement-Change Consequences from Typed Artifact Graphs [31.60344882359958]
我々は、このエンジニアリングコンテキストを型付きアーティファクトグラフとしてエンコードし、共有アーティファクト識別子における結果を予測する世界要求モデル(WRM)を提案する。
WRMは、ハッシュテキスト多層パーセプトロンに対して0.724対0.623の衝撃平均精度(MAP)を得る。
WRMは、アーティファクトに適応した世界モデルの定式化、文脈的結果のスコアリングの比較証拠、および要求世界予測を評価するための明示的な条件に貢献している。
論文 参考訳（メタデータ） (2026-10-03T11:16:57Z) - CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data [0.17188280334580197]
我々は、OpenOrcaコーパスの4,233,923例のコンプライアンスラベルであるCompOrcaを提示する。
いずれの例も、オープンウェイトLLM審査員の5通のパスによって、準拠または非準拠と分類された。
シングルパスフラグは2.7-3.2%で、コーパスの2.7-3.2%は準拠していないが、全5行で1.28%しかフラグを付けていないため、最も曖昧な行をフィルタリングすることができる。
論文 参考訳（メタデータ） (2026-09-29T15:25:07Z) - Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。
トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
論文 参考訳（メタデータ） (2026-09-14T12:28:09Z) - Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging [41.62710134204231]
短い物語において、心理学的深度を通して失敗モードを研究する。
審査員の、その開発セットにおける人間の評価との相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合、有効な測定を保証できない可能性がある。
これらの結果から, 開発段階の性能は, シフト分布におけるデプロイメントの有効性の証拠として不十分であることが示唆された。
論文 参考訳（メタデータ） (2026-09-12T07:34:54Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis [0.0]
ラテン音場正書法で書かれたクルド方言の音声認識を評価する。
原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。
ラテン語の文字化では102.36%のWERと57.89%のCERが与えられ、参照を縮小した正書法に折り畳むと97.85%と51.20%となる。
論文 参考訳（メタデータ） (2026-08-17T10:31:30Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。