論文の概要: DiscoTrack: A Multilingual LLM Benchmark for Discourse Tracking

• arxiv url: http://arxiv.org/abs/2510.17013v2
• Date: Mon, 03 Nov 2025 23:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.501856
• Title: DiscoTrack: A Multilingual LLM Benchmark for Discourse Tracking
• Title（参考訳）: DiscoTrack: 談話追跡のための多言語LLMベンチマーク
• Authors: Lanni Bu, Lauren Levin, Amir Zeldes,
• Abstract要約: 本稿では,12言語にまたがるタスクと4段階の談話理解を対象とするLCMベンチマークであるDiscoTrackを紹介する。 評価の結果,現状のモデルにおいても,これらの課題は依然として困難なままであることがわかった。
• 参考スコア（独自算出の注目度）: 6.503604909117846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent LLM benchmarks have tested models on a range of phenomena, but are still focused primarily on natural language understanding for extraction of explicit information, such as QA or summarization, with responses often tar- geting information from individual sentences. We are still lacking more challenging, and im- portantly also multilingual, benchmarks focus- ing on implicit information and pragmatic infer- ences across larger documents in the context of discourse tracking: integrating and aggregating information across sentences, paragraphs and multiple speaker utterances. To this end, we present DiscoTrack, an LLM benchmark target- ing a range of tasks across 12 languages and four levels of discourse understanding: salience recognition, entity tracking, discourse relations and bridging inference. Our evaluation shows that these tasks remain challenging, even for state-of-the-art models.
• Abstract（参考訳）: 近年のLSMベンチマークでは、様々な現象に関するモデルがテストされているが、QAや要約のような明示的な情報の抽出のための自然言語理解に焦点が当てられている。 私たちはまだ、より困難に欠けており、非言語的にもマルチリンガルなベンチマークは、暗黙の情報と、談話追跡の文脈において、大きなドキュメントにまたがる実践的な推論に焦点を合わせています。 この目的のために、LLMベンチマークであるDiscoTrackを提案する。12言語にまたがるタスクを対象とし、サリエンス認識、エンティティトラッキング、談話関係、ブリッジング推論の4段階の談話理解を行う。 評価の結果,現状のモデルにおいても,これらの課題は依然として困難なままであることがわかった。

関連論文リスト

• Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
  本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。 近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。 以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-25T08:37:55Z)
• On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation [12.848952248427977]
  大規模言語モデル(LLM)を用いた検索言語拡張生成(RAG)は,多言語質問応答タスクにおいて高い性能を示した。 多言語RAGでは、検索されたパスは、ユーザが入力したクエリ以外の言語で書くことができる。
  論文  参考訳（メタデータ） (2025-04-01T09:55:23Z)
• Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set [28.592959007943538]
  本研究では,大規模言語モデル (LLM) が言語やフレームワークにまたがって一般化する談話知識を捉えているかどうかを検討する。 テストベッドとして多言語対話関係分類を用いて, 様々なサイズと多言語機能を持つ23個のLLMの包括的集合について検討した。 以上の結果から,LLM,特に多言語学習コーパスでは,言語やフレームワーク間での会話情報を一般化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-13T16:20:25Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。