Fugu-MT 論文翻訳(概要): PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues

論文の概要: PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues

arxiv url: http://arxiv.org/abs/2601.17277v1
Date: Sat, 24 Jan 2026 03:31:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-27 15:23:07.496845
Title: PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues
Title（参考訳）: PingPong: マルチターンコード変換ダイアログの自然なベンチマーク
Authors: Mohammad Rifqi Farhansyah, Hanif Muhammad Zhafran, Farid Adilazuarda, Shamsuddeen Hassan Muhammad, Maryam Ibrahim Mukhtar, Nedjma Ousidhoum, Genta Indra Winata, Ayu Purwarianti, Alham Fikri Aji,
Abstract要約: PingPongは、自然なマルチパーティのコードスイッチング対話のためのベンチマークである。私たちのデータは、マシン生成の代替手段よりも、はるかに自然で構造的に多様です。
参考スコア（独自算出の注目度）: 24.961043564920672
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Code-switching is a widespread practice among the world's multilingual majority, yet few benchmarks accurately reflect its complexity in everyday communication. We present PingPong, a benchmark for natural multi-party code-switching dialogues covering five language-combination variations, some of which are trilingual. Our dataset consists of human-authored conversations among 2 to 4 participants covering authentic, multi-threaded structures where replies frequently reference much earlier points in the dialogue. We demonstrate that our data is significantly more natural and structurally diverse than machine-generated alternatives, offering greater variation in message length, speaker dominance, and reply distance. Based on these dialogues, we define three downstream tasks: Question Answering, Dialogue Summarization, and Topic Classification. Evaluations of several state-of-the-art language models on PingPong reveal that performance remains limited on code-switched inputs, underscoring the urgent need for more robust NLP systems capable of addressing the intricacies of real-world multilingual discourse.
Abstract（参考訳）: コードスイッチングは、世界の多言語多数派の間で広く行われているプラクティスであるが、日々のコミュニケーションにおいてその複雑さを正確に反映するベンチマークはほとんどない。 PingPongは,5つの言語組み合わせのバリエーションを網羅した,自然な多言語コードスイッチング対話のためのベンチマークである。我々のデータセットは、2～4人の被験者による人間による会話で構成されており、応答が対話のずっと早い段階で頻繁に参照される、真のマルチスレッド構造をカバーしている。我々のデータは、機械が生成する代替手段よりもはるかに自然で構造的に多様であり、メッセージの長さ、話者の優位性、応答距離がより多様であることを示す。これらの対話に基づいて,質問応答,対話要約,トピック分類という3つの下流課題を定義した。 PingPong上でのいくつかの最先端言語モデルの評価は、実際の多言語会話の難易度に対処できるより堅牢なNLPシステムの必要性を浮き彫りにしている。

関連論文リスト

An LLM Benchmark for Addressee Recognition in Multi-modal Multi-party Dialogue [21.938414385824903]
本論文は,次の順番に宛てられている相手を識別する,宛先認識の課題に焦点を当てる。コーパスのサブセットにアドレナリ情報が付加され、明示的なアドレナリが会話のターンの約20%で表示されることが明らかになった。
論文参考訳（メタデータ） (2025-01-28T02:27:55Z)
Can MLLMs Generalize to Multi-Party dialog? Exploring Multilingual Response Generation in Complex Scenarios [8.131774353504472]
マルチパーティポッドキャスト対話をベースとした,高品質な並列多言語データセットであるXMPを紹介する。データセットのほとんどのサンプルには3つ以上の参加者が参加し、幅広いトピックについて議論している。 R1:MLLMはマルチパーティ設定への一般化に失敗し、XMPのR2ファインチューニングはわずかに改善され、70Bモデルは8Bよりも1%の絶対的なゲインを達成した。
論文参考訳（メタデータ） (2025-01-20T04:33:03Z)
Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
論文参考訳（メタデータ） (2024-06-04T17:56:28Z)
Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems [64.40789703661987]
Multi3WOZは、新しいマルチ言語、マルチドメイン、マルチ並列ToDデータセットである。大規模で、4つの言語で文化的に適応したダイアログを提供する。最終データセットを生成する複雑なボトムアップデータ収集プロセスについて述べる。
論文参考訳（メタデータ） (2023-07-26T08:29:42Z)
Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining for Task-Oriented Dialog [67.20796950016735]
Multi2WOZデータセットは、中国語、ドイツ語、アラビア語、ロシア語の4つの言語にまたがる。本稿では,任意の下流TODタスクに対する言語間移動を容易にすることを目的とした,事前学習言語モデル(PrLM)の多言語会話特化のための新しいフレームワークを提案する。実験の結果,目標言語における(I)会話の特殊化と,(II)具体的なTODタスクのための少数ショット転送の組み合わせが,ほとんどの場合,最高の性能を示すことがわかった。
論文参考訳（メタデータ） (2022-05-20T18:35:38Z)
Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文参考訳（メタデータ） (2022-04-18T03:51:46Z)
MSCTD: A Multimodal Sentiment Chat Translation Dataset [66.81525961469494]
マルチモーダルチャット翻訳(MCT)という新しいタスクを導入する。 MCTは、関連する対話履歴と視覚的コンテキストの助けを借りて、より正確な翻訳を生成することを目的としている。本研究は,マルチモーダルチャット翻訳とマルチモーダル対話感情分析の両方の研究を容易にする。
論文参考訳（メタデータ） (2022-02-28T09:40:46Z)
Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文参考訳（メタデータ） (2022-01-31T18:11:21Z)
Code-switched inspired losses for generic spoken dialog representations [5.73995120847626]
多言語音声対話表現の学習に適した事前学習損失を導入する。これらの損失の目標は、モデルをコード変更言語に公開することだ。実験の結果、新しいコードの変更による損失は、モノリンガルとマルチリンガルの両方でより良いパフォーマンスを実現することがわかった。
論文参考訳（メタデータ） (2021-08-27T19:15:00Z)
Challenges and Considerations with Code-Mixed NLP for Multilingual Societies [1.6675267471157407]
本稿では,NLP研究の現状,限界,予測可能な落とし穴について論じる。また,社会福祉のための多言語NLPアプリケーションにおける現在の研究を著しく進めることができる未来的データセット,モデル,ツールも提案する。
論文参考訳（メタデータ） (2021-06-15T00:53:55Z)
MultiTalk: A Highly-Branching Dialog Testbed for Diverse Conversations [39.81965687032923]
会話対話文のコーパスであるMultiTalkデータセットについて述べる。高分岐環境におけるダイアログ生成の研究に複数の貢献をしている。我々の達成課題は心の問題の挑戦的理論であり、制御可能な生成課題である。
論文参考訳（メタデータ） (2021-02-02T02:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。