論文の概要: VEILED-SH: Vulnerability Expression through Indirect Language Evaluation Dataset (Self-Harm)
- arxiv url: http://arxiv.org/abs/2610.26190v1
- Date: Mon, 19 Oct 2026 11:18:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 19:09:15.838275
- Title: VEILED-SH: Vulnerability Expression through Indirect Language Evaluation Dataset (Self-Harm)
- Title（参考訳）: VEILED-SH:間接言語評価データセット(Self-Harm)による脆弱性表現
- Abstract要約: 既存のベンチマークは、文化的変化、アプリケーションコンテキスト、実践者の意見の不一致を共同で解決するものではない。
VEILED-SHは,自殺,自傷,苦しみの間接表現に対する単一ターン応答を評価するためのベンチマークおよび構築手法である。
- 参考スコア（独自算出の注目度）: 14.124933328262472
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems may miss indirect, culturally situated distress or provide support mismatched to the application context. Existing benchmarks do not jointly address cultural variation, application context, and practitioner disagreement. We introduce VEILED-SH, a benchmark and construction methodology for evaluating single-turn responses to indirect expressions of suicide, self-harm, and distress. Its 10,003 prompts span counselor chat, forum posts, platform search, and triage, drawing on Singapore-grounded sources and public datasets. An expert-validated multi-label taxonomy distinguishes intent, communicative function, and response behavior. Six automated profiles, individually calibrated to three peer-support practitioners and three clinicians, retain separate reference policies for proxy-alignment scoring. Evaluating five systems on a coverage-enriched sample reveals variation in proxy alignment across profile-generated reference policies, even for the same system responses.
- Abstract（参考訳）: AIシステムは間接的、文化的に位置する苦難を見逃したり、アプリケーションコンテキストにミスマッチしたサポートを提供する。
既存のベンチマークは、文化的変化、アプリケーションコンテキスト、実践者の意見の不一致を共同で解決するものではない。
VEILED-SHは,自殺,自傷,苦しみの間接表現に対する単一ターン応答を評価するためのベンチマークおよび構築手法である。
10003はカウンセラーのチャット、フォーラムの投稿、プラットフォーム検索、トリアージを、シンガポールの地上ソースと公開データセットに描画する。
専門家によって検証された多ラベル分類は、意図、コミュニケーション機能、反応の振る舞いを区別する。
6つの自動プロファイルは、個別に3人のピアサポート実践者と3人の臨床医に校正され、プロキシアライメントスコアの別々の基準ポリシーを維持している。
カバレッジ強化サンプル上で5つのシステムを評価すると、同じシステム応答であっても、プロファイル生成参照ポリシー間のプロキシアライメントのばらつきが明らかになる。
関連論文リスト
- SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation [19.966845532052172]
自動音声認識(ASR)のための状況歪み尺度であるSITARを紹介する。
我々はSITARを、単一のフォワードパスで参照-仮説ペアをスコアする軽量BERTファミリー回帰器として訓練する。
本稿では,マクロレベルとマイクロレベルで評価された外在的妥当性と内在的スコアラー信頼性の両方にまたがる原則的検証プロトコルを定式化する。
論文 参考訳（メタデータ） (2026-10-15T07:48:03Z) - TextualRL: Textual Reinforcement Learning for Context Management [55.50029888438733]
TextualRLは勾配のない強化学習フレームワークで、同じタスクから同じコンテキスト下でロールアウトするグループを扱う。
Groupwise Policy Critiqueは、タスク内の成功と失敗のロールアウトを対比し、保存する価値のある行動や補修仮説を定式化するためのクロスタスクの証拠を描いている。
Cross-Group Policy Updateは、グループ間でプールされた証拠に対する提案をレビューした。
論文 参考訳（メタデータ） (2026-10-13T11:47:32Z) - What Reaches Expert Review? Representation, Structural Screening, and Candidate-Form Dependence in AI-Assisted Item Development [0.7834978654423369]
表現、構造的縮小、選択政策は 精神科医がどの項目や証拠を 受け取ったかを決定する
32,000件のビッグファイブ項目を関連づけた2つのインサイリコ調査を行い, 構造的評価と候補形式構築を通じて, セマンティックな表現から固定された情報源群を追従した。
論文 参考訳（メタデータ） (2026-08-24T18:57:13Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - Refusal Evaluation in Coding LLMs and Code Agents: A Systematic Review of Thirteen Malicious-Code Prompt Corpora (2023-2025) [0.0]
既存の調査では、コードセキュリティ、ジェイルブレイク分類、または脆弱性検出を中心的な対象として扱い、パス時にのみこれらのコーパスに言及している。
本稿では,素早いデータセットを解析単位として扱う。
合成は3つの連続する方法論的ギャップを表面化する。
論文 参考訳（メタデータ） (2026-05-19T18:05:51Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - S-GRADES -- Studying Generalization of Student Response Assessments in Diverse Evaluative Settings [2.010691774041283]
長いエッセイから短い事実回答への学生の反応を評価することは、NLPの教育において重要な課題である。
S-GRADESは、14の多様なグレーティングデータセットを統一インターフェースで統合するWebベースのベンチマークである。
S-GRADESの実用性を実証するために,複数の推論手法を用いて,ベンチマーク全体で最先端の3つの大規模言語モデルを評価した。
論文 参考訳（メタデータ） (2026-03-10T21:11:51Z) - CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models [0.28258700614488924]
実用的な推論は、大きな言語モデルでは依然として困難である。
我々は、LLMが現実的な複雑な発話をいかに曖昧にするかを評価するために、300の人間検証シナリオをCEIベンチマークで提示する。
データセットは、職場、家族、社会、サービス設定から引き出された5つの実用的サブタイプ(皮肉/匿名、混成信号、戦略的丁寧さ、受動的攻撃、偏向/ミスディレクション)をカバーしている。
論文 参考訳（メタデータ） (2026-02-14T08:31:19Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z) - Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。
我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文 参考訳（メタデータ） (2020-10-26T21:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。