論文の概要: An Open-Source Web-Based Tool for Evaluating Open-Source Large Language Models Leveraging Information Retrieval from Custom Documents

• arxiv url: http://arxiv.org/abs/2502.10916v2
• Date: Wed, 19 Feb 2025 19:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 10:45:30.890054
• Title: An Open-Source Web-Based Tool for Evaluating Open-Source Large Language Models Leveraging Information Retrieval from Custom Documents
• Title（参考訳）: カスタムドキュメントから情報検索を活用するオープンソースの大規模言語モデル評価ツール
• Authors: Godfrey I,
• Abstract要約: 本稿では,対話エージェントとの会話中にユーザの発話行為が与える影響を実演できる,オープンソースのWebベースツールについて紹介する。 研究者や専門家は、様々な対話のパフォーマンスを評価し、ユーザのコミュニケーション意図を視覚化し、チャットエージェントにアップロードされた特定の文書を利用して情報検索を行うことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In our work, we present the first-of-its-kind open-source web-based tool which is able to demonstrate the impacts of a user's speech act during discourse with conversational agents, which leverages open-source large language models. With this software resource, it is possible for researchers and experts to evaluate the performance of various dialogues, visualize the user's communicative intents, and utilise uploaded specific documents for the chat agent to use for its information retrieval to respond to the user query. The context gathered by these models is obtained from a set of linguistic features extracted, which forms the context embeddings of the models. Regardless of these models showing good context understanding based on these features, there still remains a gap in including deeper pragmatic features to improve the model's comprehension of the query, hence the efforts to develop this web resource, which is able to extract and then inject this overlooked feature in the encoder-decoder pipeline of the conversational agent. To demonstrate the effect and impact of the resource, we carried out an experiment which evaluated the system using 2 knowledge files for information retrieval, with two user queries each, across 5 open-source large language models using 10 standard metrics. Our results showed that larger open-source models, demonstrated an improved alignment when the user speech act was included with their query. The smaller models in contrast showed an increased perplexity and mixed performance, which explicitly indicated struggles in processing queries that explicitly included speech acts. The results from the analysis using the developed web resource highlight the potential of speech acts towards enhancing conversational depths while underscoring the need for model-specific optimizations to address increased computational costs and response times.
• Abstract（参考訳）: 本研究では,オープンソースの大規模言語モデルを活用する対話エージェントとの対話において,ユーザの発話行為が与える影響を実演することのできる,オープンソースのWebベースツールについて紹介する。 このソフトウェアリソースにより、研究者や専門家は、様々な対話のパフォーマンスを評価し、ユーザのコミュニケーション意図を視覚化し、チャットエージェントにアップロードされた特定の文書を利用して、ユーザクエリに応答する情報検索を行うことができる。 これらのモデルによって収集されたコンテキストは、モデルのコンテキスト埋め込みを形成する言語的特徴の集合から得られる。 これらの機能に基づいて適切なコンテキスト理解を示すモデルにせよ、モデルによるクエリの理解を改善するためのより深い実用的機能を含めるには、依然としてギャップが残っているため、このWebリソースの開発は、会話エージェントのエンコーダ-デコーダパイプラインで見落とされた機能を抽出し、注入することができる。 資源の効果と影響を実証するために,10の標準指標を用いた5つのオープンソース大言語モデルに対して,情報検索に2つの知識ファイルを用いて,それぞれ2つのユーザクエリを用いてシステム評価を行った。 以上の結果から,より大規模なオープンソースモデルでは,ユーザの音声行為をクエリに含めた場合,アライメントが改善された。 対照的に、より小さなモデルでは、難易度と混合性能が増加し、明示的に音声行為を含むクエリの処理に苦慮することが明らかとなった。 開発したWebリソースを用いた分析結果から,会話深度の向上に向けた音声行動の可能性を明らかにするとともに,計算コストと応答時間の増加に対応するために,モデル固有の最適化の必要性を強調した。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Enhancing Retrieval Processes for Language Generation with Augmented Queries [0.0]
  本研究は,実事実に基づく正確な応答をモデルに誘導するRAG(Retrieval-Augmented Generation)を通じてこの問題に対処することに焦点を当てる。 スケーラビリティの問題を克服するために、BERTやOrca2といった洗練された言語モデルとユーザクエリを結びつけることを検討する。 実験結果から,RAGによる初期言語モデルの性能向上が示唆された。
  論文  参考訳（メタデータ） (2024-02-06T13:19:53Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference [82.28542500317445]
  本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。 他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
  論文  参考訳（メタデータ） (2023-06-01T21:23:13Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering [38.071375112873675]
  質問応答型エンコーダデコーダモデルの提案と事前学習戦略について述べる。 これにより、シングルホップのQAタスクにおいて、以前のQA検索方法よりも優れたエンドツーエンドシステムが得られる。
  論文  参考訳（メタデータ） (2022-04-10T02:33:00Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。