論文の概要: Advancing Vietnamese Information Retrieval with Learning Objective and Benchmark

• arxiv url: http://arxiv.org/abs/2503.07470v1
• Date: Mon, 10 Mar 2025 15:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:45.572299
• Title: Advancing Vietnamese Information Retrieval with Learning Objective and Benchmark
• Title（参考訳）: 学習目的とベンチマークによるベトナム情報検索の促進
• Authors: Phu-Vinh Nguyen, Minh-Nam Tran, Long Nguyen, Dien Dinh,
• Abstract要約: 本研究はベトナム研究コミュニティに情報検索のための新しいベンチマークを提供することを目的としている。 また,ベトナムの埋め込みモデルの学習に使用されるInfoNCE損失関数に基づく新たな目的関数を提案する。
• 参考スコア（独自算出の注目度）: 0.24999074238880487
• License:
• Abstract: With the rapid development of natural language processing, many language models have been invented for multiple tasks. One important task is information retrieval (IR), which requires models to retrieve relevant documents. Despite its importance in many real-life applications, especially in retrieval augmented generation (RAG) systems, this task lacks Vietnamese benchmarks. This situation causes difficulty in assessing and comparing many existing Vietnamese embedding language models on the task and slows down the advancement of Vietnamese natural language processing (NLP) research. In this work, we aim to provide the Vietnamese research community with a new benchmark for information retrieval, which mainly focuses on retrieval and reranking tasks. Furthermore, we also present a new objective function based on the InfoNCE loss function, which is used to train our Vietnamese embedding model. Our function aims to be better than the origin in information retrieval tasks. Finally, we analyze the effect of temperature, a hyper-parameter in both objective functions, on the performance of text embedding models.
• Abstract（参考訳）: 自然言語処理の急速な発展により、複数のタスクのために多くの言語モデルが発明された。 重要なタスクの1つは情報検索(IR)であり、関連する文書を検索するためにモデルを必要とする。 多くのリアルタイムアプリケーション、特に検索拡張生成(RAG)システムにおいて重要であるにもかかわらず、このタスクはベトナムのベンチマークを欠いている。 この状況は、既存のベトナム語埋め込み言語モデルをタスク上で評価し比較することの困難を生じさせ、ベトナム語自然言語処理(NLP)研究の進展を遅らせる。 本研究は,ベトナムの研究コミュニティに情報検索のための新しいベンチマークを提供することを目的としている。 さらに,ベトナム語埋め込みモデルの学習に使用されるInfoNCE損失関数に基づく新たな目的関数を提案する。 我々の機能は、情報検索タスクの起源よりも優れていることを目標としている。 最後に,両目的関数のハイパーパラメータである温度がテキスト埋め込みモデルの性能に与える影響を解析する。

関連論文リスト

• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• ViANLI: Adversarial Natural Language Inference for Vietnamese [1.907126872483548]
  敵NLIデータセットをNLP研究コミュニティに導入し,その名称をViANLIとした。 このデータセットには、10K以上の前提-仮説ペアが含まれている。 テストセットで最も強力なモデルの精度は48.4%にしか達しなかった。
  論文  参考訳（メタデータ） (2024-06-25T16:58:19Z)
• Narrative Action Evaluation with Prompt-Guided Multimodal Interaction [60.281405999483]
  ナラティブ・アクション・アセスメント(NAE)は、行動の実行を評価する専門家のコメントを作成することを目的としている。 NAEは、物語の柔軟性と評価の厳格さの両方を必要とするため、より困難なタスクです。 本稿では,様々な情報モダリティ間のインタラクションを容易にするための,プロンプト誘導型マルチモーダルインタラクションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T17:55:07Z)
• VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension [1.3942150186842373]
  本稿では,機械読解作業のためのベトナム語音声コーパスの開発過程について述べる。 ベトナムの既存のMRCコーポラは主にウィキペディアの記事、オンライン新聞、教科書などの公式文書に焦点を当てている。 対照的に、VlogQAはYouTubeからソースされた1,230の文書に基づいて10,076の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2024-02-05T00:54:40Z)
• Multi-dimensional data refining strategy for effective fine-tuning LLMs [2.67766280323297]
  本稿では,ベトナム語の微調整モデルに適したクロールおよび精錬時に学んだ教訓について述べる。 本稿では、既存のデータセットを英語で活用し、生成AIツールの助けを借りて、カスタマイズされたデータクローリングスクリプトを開発する多次元戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-02T07:50:43Z)
• ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model for Visual Question Answering in Vietnamese [1.6340299456362617]
  ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。 我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。 PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
  論文  参考訳（メタデータ） (2023-10-27T10:44:50Z)
• Analyzing Vietnamese Legal Questions Using Deep Neural Networks with Biaffine Classifiers [3.116035935327534]
  我々は深層ニューラルネットワークを用いてベトナムの法的問題から重要な情報を抽出することを提案する。 自然言語で法的疑問が与えられた場合、その疑問に答えるために必要な情報を含む全てのセグメントを抽出することが目的である。
  論文  参考訳（メタデータ） (2023-04-27T18:19:24Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation [49.57366550980932]
  ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。 中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。 我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T02:38:32Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。