Fugu-MT 論文翻訳(概要): Assessing generalization capability of text ranking models in Polish

論文の概要: Assessing generalization capability of text ranking models in Polish

arxiv url: http://arxiv.org/abs/2402.14318v1
Date: Thu, 22 Feb 2024 06:21:41 GMT
ステータス: 処理完了
システム内更新日: 2024-02-23 16:15:58.714791
Title: Assessing generalization capability of text ranking models in Polish
Title（参考訳）: ポーランドにおけるテキストランキングモデルの一般化能力評価
Authors: S{\l}awomir Dadas, Ma{\l}gorzata Gr\k{e}bowiec
Abstract要約: Retrieval-augmented Generation (RAG) は、内部知識ベースと大規模言語モデルを統合する技術として、ますます人気が高まっている。本稿では,ポーランド語におけるリランク問題に着目し,リランカーの性能について検討する。私たちのモデルの中で最高のものは、ポーランド語で再ランク付けするための新しい最先端技術を確立し、最大30倍のパラメータを持つ既存のモデルよりも優れています。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-augmented generation (RAG) is becoming an increasingly popular technique for integrating internal knowledge bases with large language models. In a typical RAG pipeline, three models are used, responsible for the retrieval, reranking, and generation stages. In this article, we focus on the reranking problem for the Polish language, examining the performance of rerankers and comparing their results with available retrieval models. We conduct a comprehensive evaluation of existing models and those trained by us, utilizing a benchmark of 41 diverse information retrieval tasks for the Polish language. The results of our experiments show that most models struggle with out-of-domain generalization. However, a combination of effective optimization method and a large training dataset allows for building rerankers that are both compact in size and capable of generalization. The best of our models establishes a new state-of-the-art for reranking in the Polish language, outperforming existing models with up to 30 times more parameters.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、内部知識ベースと大規模言語モデルを統合する技術として、ますます人気が高まっている。典型的なRAGパイプラインでは、3つのモデルを使用し、検索、再ランク付け、生成ステージに責任を負う。本稿では,ポーランド語のリランキング問題に注目し,リカウンタの性能を調べ,その結果を利用可能な検索モデルと比較する。我々は,ポーランド語における41種類の情報検索タスクのベンチマークを用いて,既存モデルと学習者の包括的評価を行う。実験の結果,ほとんどのモデルが領域外一般化に苦しむことがわかった。しかし、効率的な最適化手法と大規模なトレーニングデータセットを組み合わせることで、コンパクトで一般化可能なリランカーを構築できる。私たちの最良のモデルは、ポーランド語で再ランキングする新しい最先端技術を確立し、最大30倍のパラメータを持つ既存のモデルよりも優れています。

関連論文リスト

Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
論文参考訳（メタデータ） (2024-05-23T16:50:49Z)
Enhancing Traffic Incident Management with Large Language Models: A Hybrid Machine Learning Approach for Severity Classification [3.674863913115431]
本研究は,交通事故管理のための機械学習への大規模言語モデルの革新的な統合を実証する。インシデントレポートから抽出した従来のデータと並行して,現代の言語モデルが生成する特徴を活用することで,重度分類の精度の向上を実証する。
論文参考訳（メタデータ） (2024-03-20T12:33:51Z)
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods [0.552480439325792]
ポーランド語情報検索ベンチマーク(PIRB, Polish Information Retrieval Benchmark)は、ポーランド語のための41のテキスト情報検索タスクを含む総合的な評価フレームワークである。このベンチマークには、既存のデータセットに加えて、医学、法律、ビジネス、物理学、言語学など、さまざまなトピックをカバーする、10の新しい未発表データセットが含まれている。我々は,20以上の密度・疎度検索モデルの評価を行い,そのベースラインモデルについて検討した。
論文参考訳（メタデータ） (2024-02-20T19:53:36Z)
Split and Rephrase with Large Language Models [2.499907423888049]
Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
論文参考訳（メタデータ） (2023-12-18T10:16:37Z)
Learning Evaluation Models from Large Language Models for Sequence Generation [44.22820310679188]
大規模言語モデルは、シーケンス生成評価において最先端のパフォーマンスを達成するが、典型的には多数のパラメータを持つ。テキスト評価用textbfcapability textbftransfer 法である textbfECT を提案し,その評価能力を LLM から比較的軽量な言語モデルに転送する。提案するECTに基づいて、ChatGPTから様々な評価モデルを学び、それらを報酬モデルとして利用してシーケンス生成モデルを改善する。
論文参考訳（メタデータ） (2023-08-08T16:41:16Z)
Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
論文参考訳（メタデータ） (2023-06-01T18:08:51Z)
Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文参考訳（メタデータ） (2023-05-24T16:17:36Z)
SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文参考訳（メタデータ） (2023-05-18T17:23:00Z)
mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。事実整合性評価モデルを利用して、多言語要約を改善する。
論文参考訳（メタデータ） (2022-12-20T19:52:41Z)
Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文参考訳（メタデータ） (2022-10-06T00:33:01Z)
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。