論文の概要: Multilingual and Domain-Agnostic Tip-of-the-Tongue Query Generation for Simulated Evaluation

• arxiv url: http://arxiv.org/abs/2604.21096v1
• Date: Wed, 22 Apr 2026 21:34:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.185364
• Title: Multilingual and Domain-Agnostic Tip-of-the-Tongue Query Generation for Simulated Evaluation
• Title（参考訳）: 模擬評価のための多言語およびドメインに依存しないTip-of-the-Tongueクエリ生成
• Abstract要約: 我々は中国語、日本語、韓国語、英語の多言語Tip-of-Tongueテストコレクションを構築した。 この研究は、最初の大規模マルチ言語ToTベンチマークを提供し、英語以外の現実的なToTデータセットを構築するための実践的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 45.8965377080842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tip-of-the-Tongue (ToT) retrieval benchmarks have largely focused on English, limiting their applicability to multilingual information access. In this work, we construct multilingual ToT test collections for Chinese, Japanese, Korean, and English, using an LLM-based query simulation framework. We systematically study how prompt language and source document language affect the fidelity of simulated ToT queries, validating synthetic queries through system rank correlation against real user queries. Our results show that effective ToT simulation requires language-aware design choices: non-English language sources are generally important, while English Wikipedia can be beneficial when non-English sources provide insufficient information for query generation. Based on these findings, we release four ToT test collections with 5,000 queries per language across multiple domains. This work provides the first large-scale multilingual ToT benchmark and offers practical guidance for constructing realistic ToT datasets beyond English.
• Abstract（参考訳）: Tip-of-Tongue (ToT) の検索ベンチマークは英語に重点を置いており、多言語情報アクセスに適用性を制限する。 本研究では,LLMに基づくクエリ・シミュレーション・フレームワークを用いて,中国語,日本語,韓国語,英語の多言語ToTテスト・コレクションを構築する。 実ユーザクエリに対するシステムランク相関による合成クエリの検証を行い,提案言語とソース文書言語がシミュレーションされたToTクエリの忠実度にどのように影響するかを系統的に検討する。 非英語のソースは一般的に重要であり、非英語のソースがクエリ生成に不十分な情報を提供する場合、英語のウィキペディアは有用である。 これらの結果に基づき、複数のドメインにまたがる言語毎のクエリが5,000である4つのToTテストコレクションをリリースする。 この研究は、最初の大規模マルチ言語ToTベンチマークを提供し、英語以外の現実的なToTデータセットを構築するための実践的なガイダンスを提供する。

関連論文リスト

• BhashaKritika: Building Synthetic Pretraining Data at Scale for Indic Languages [4.279942349440352]
  Indic言語のための合成多言語事前学習データの生成と評価に関する体系的研究を行う。 大規模な合成データセットBhashaKritikaを構築し,10言語で5つの異なる手法を用いて540Bトークンを構成する。 我々は、プロンプト命令と文書のグラウンド化の両方において、言語選択がデータ品質にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-11-13T14:12:44Z)
• Text2Cypher Across Languages: Evaluating and Finetuning LLMs [0.17188280334580197]
  本論文では,複数の言語を対象としたText2Cypherタスクにおける基礎的および微調整LLMの性能について検討する。 英語の質問をスペイン語とトルコ語に翻訳することで、多言語データセットを作成し、リリースします。 標準化されたプロンプトとメトリクスを用いて、いくつかの基礎モデルを評価し、一貫したパフォーマンスパターンを観察する。
  論文  参考訳（メタデータ） (2025-06-26T16:31:10Z)
• Enhancing Multilingual Language Models for Code-Switched Input Data [0.0]
  本研究では,コード切替データセット上でのマルチ言語BERT(mBERT)の事前学習により,重要なNLPタスクにおけるモデルの性能が向上するかどうかを検討する。 本研究では,Spanglish ツイートのデータセットを用いて事前学習を行い,ベースラインモデルに対する事前学習モデルの評価を行う。 以上の結果から,事前学習したmBERTモデルは,与えられたタスクのベースラインモデルよりも優れ,また,音声タグ付けの分野でも有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-03-11T02:49:41Z)
• mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval [61.17793165194077]
  本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
  論文  参考訳（メタデータ） (2025-01-31T16:24:46Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
  知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。 既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。 本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T15:37:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [15.619421104102516]
  本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T20:26:03Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。