論文の概要: Overview of Dialog System Evaluation Track: Dimensionality, Language, Culture and Safety at DSTC 12

• arxiv url: http://arxiv.org/abs/2509.13569v1
• Date: Tue, 16 Sep 2025 22:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.662765
• Title: Overview of Dialog System Evaluation Track: Dimensionality, Language, Culture and Safety at DSTC 12
• Title（参考訳）: ダイアログシステム評価トラックの概要:DSTC 12における次元,言語,文化,安全性
• Abstract要約: ダイアログシステム評価:次元,言語,文化,安全」は,これらの重要なギャップに対処する取り組みの一環として進行中である。 本稿では、参加者に提供されるデータセットとベースラインと、提案した2つのサブタスクのそれぞれに対する提案評価結果について述べる。
• 参考スコア（独自算出の注目度）: 16.70626307889781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has intensified the need for robust dialogue system evaluation, yet comprehensive assessment remains challenging. Traditional metrics often prove insufficient, and safety considerations are frequently narrowly defined or culturally biased. The DSTC12 Track 1, "Dialog System Evaluation: Dimensionality, Language, Culture and Safety," is part of the ongoing effort to address these critical gaps. The track comprised two subtasks: (1) Dialogue-level, Multi-dimensional Automatic Evaluation Metrics, and (2) Multilingual and Multicultural Safety Detection. For Task 1, focused on 10 dialogue dimensions, a Llama-3-8B baseline achieved the highest average Spearman's correlation (0.1681), indicating substantial room for improvement. In Task 2, while participating teams significantly outperformed a Llama-Guard-3-1B baseline on the multilingual safety subset (top ROC-AUC 0.9648), the baseline proved superior on the cultural subset (0.5126 ROC-AUC), highlighting critical needs in culturally-aware safety. This paper describes the datasets and baselines provided to participants, as well as submission evaluation results for each of the two proposed subtasks.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、堅牢な対話システム評価の必要性が高まっているが、総合的な評価は依然として困難である。 伝統的なメトリクスは、しばしば不十分であることが証明され、安全に関する考慮はしばしば狭義に定義され、文化的に偏っている。 DSTC12トラック1"Dialog System Evaluation: dimensionity, Language, Culture and Safety"は、これらの重要なギャップに対処するための継続的な取り組みの一部である。 トラックは,(1)対話レベル,多次元自動評価尺度,(2)多言語・多文化安全検出の2つのサブタスクから構成された。 タスク1では10の対話次元に焦点を当てたLlama-3-8Bベースラインが平均的なスピアマン相関(0.1681)を達成した。 タスク2では、参加チームがマルチリンガルセーフティサブセット(ROC-AUC 0.9648の上位)でLlama-Guard-3-1Bベースラインを著しく上回ったが、そのベースラインは文化的サブセット(0.5126 ROC-AUC)よりも優れており、文化的に意識された安全における重要なニーズを強調した。 本稿では、参加者に提供されるデータセットとベースラインと、提案した2つのサブタスクのそれぞれに対する提案評価結果について述べる。

関連論文リスト

• IndicGuard: A Multilingual Safety Guard Model and Dataset for Indic Languages [2.584263027095689]
  IndicGuardは、Indic言語のための多言語安全ガードモデルとデータセットである。 我々は10の主要なインド語を含む高ボリュームで文化的にニュアンスのある安全データセットを構築した。 Gemma-3-4B-ITをベースとした4Bパラメータ命令調整モデルを微調整し,多言語安全ガードレールとして機能させる。
  論文  参考訳（メタデータ） (2026-06-22T04:36:57Z)
• Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts: A Methodological and Comparative Analysis [2.8523456804049885]
  我々は,4言語で1:1のシードマッチングを用いて,DTと文化的適応データセットのペアを構築した。 攻撃成功率(ASR)と文化リアリズムのスコアを4つのオープンソース安全評価と比較した。
  論文  参考訳（メタデータ） (2026-06-08T08:17:18Z)
• Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
  単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。 RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。 制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
  論文  参考訳（メタデータ） (2026-04-24T09:29:14Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
  大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。 このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。 セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
  論文  参考訳（メタデータ） (2026-04-13T15:59:50Z)
• IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia [0.6978180153516672]
  Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。 言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。 Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
  論文  参考訳（メタデータ） (2026-03-18T16:54:07Z)
• Improving Methodologies for LLM Evaluations Across Global Languages [19.63570354411416]
  このエクササイズは、安全行動が言語によってどのように異なるかを示しています。 また、多言語安全性評価を改善するための洞察も生み出した。 この研究は、先進的なAIシステムの多言語安全テストのための共有フレームワークに向けた最初のステップである。
  論文  参考訳（メタデータ） (2026-01-22T07:18:08Z)
• CREST: Universal Safety Guardrails Through Cluster-Guided Cross-Lingual Transfer [0.5729426778193399]
  CRESTはパラメータ効率のよい多言語安全分類モデルであり、0.5Bパラメータしか持たない100言語をサポートする。 13の高リソース言語の戦略的に選択されたサブセットをトレーニングすることで、クラスタベースのクロスランガルトランスファーを利用する。 このアプローチは、低リソース環境での限られたトレーニングデータの課題に対処する。
  論文  参考訳（メタデータ） (2025-12-02T12:41:48Z)
• Revisiting Metric Reliability for Fine-grained Evaluation of Machine Translation and Summarization in Indian Languages [13.098470937627871]
  ITEMは、6つの主要なインドの言語における26の自動測定値と人間の判断値のアライメントを体系的に評価する。 発見は、インドの言語でメートル法設計と評価を進めるための重要なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-08T14:27:02Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• LinguaSafe: A Comprehensive Multilingual Safety Benchmark for Large Language Models [22.273388934888278]
  私たちのデータセットは、ハンガリー語からマレー語まで、12言語で45万のエントリで構成されています。 我々のベンチマークは、詳細な安全性評価のための総合的なメトリクススイートを提供する。
  論文  参考訳（メタデータ） (2025-08-18T08:59:01Z)
• SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [46.25325034315104]
  大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。 具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。 特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
  論文  参考訳（メタデータ） (2025-02-16T12:08:08Z)
• INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness [110.6921470281479]
  INDICTは、安全性と有用性の両方のガイダンスのために、批評家の内的対話で大きな言語モデルを強化する新しいフレームワークである。 内部対話は、安全主導の批評家と役に立つ主導の批評家の二重協調システムである。 提案手法は,安全性と有用性解析の両面において,高度な批判のレベルを提供し,出力コードの品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-23T15:55:07Z)
• Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation [7.767020408405403]
  本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。 実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-31T15:19:28Z)
• Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4 [51.142614461563184]
  第11回対話システム技術チャレンジ(DSTC11)のこのトラックは、堅牢で多言語による自動評価のメトリクスを促進するために進行中の取り組みの一部である。 本稿では、参加者に提供するデータセットとベースラインについて述べ、提案した2つのサブタスクの提出と結果の詳細について論じる。
  論文  参考訳（メタデータ） (2023-06-22T10:50:23Z)
• BiToD: A Bilingual Multi-Domain Dataset For Task-Oriented Dialogue Modeling [52.99188200886738]
  BiToDは、エンドツーエンドのタスク指向対話モデリングのための最初のバイリンガルなマルチドメインデータセットである。 BiToDには、大規模で現実的なバイリンガル知識ベースを持つ7k以上のマルチドメイン対話(144k発声)が含まれている。
  論文  参考訳（メタデータ） (2021-06-05T03:38:42Z)
• Towards Quantifiable Dialogue Coherence Evaluation [126.55560816209756]
  量的対話コヒーレンス評価(QuantiDCE)は,量的対話コヒーレンス尺度の学習を目的とした新しいフレームワークである。 QuantiDCEには、Multi-Level Ranking (MLR) pre-training (KD) fine-tuning (Multi-Level Ranking)とKD (KD) fine-tuning (KD) という2つの訓練段階が含まれている。 実験結果から,QuantiDCEによりトレーニングされたモデルは,他の最先端の指標に比べて,人間の判断と強い相関関係を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-01T14:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。