論文の概要: ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering

• arxiv url: http://arxiv.org/abs/2408.10808v1
• Date: Tue, 20 Aug 2024 12:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:45:16.770962
• Title: ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering
• Title（参考訳）: 言語モデル質問応答に対するColBERT検索とアンサンブル応答スコアリング
• Authors: Alex Gichamba, Tewodros Kederalah Idris, Brian Ebiyau, Eric Nyberg, Teruko Mitamura,
• Abstract要約: S Large Language Models for Telecom Networks”は、Phi-2とFalcon-7Bの2つの小言語モデルの性能向上を目的としている。 ソリューションはPhi-2で81.9%、Falcon-7Bで57.3%の精度を達成した。
• 参考スコア（独自算出の注目度）: 7.330633489938182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific question answering remains challenging for language models, given the deep technical knowledge required to answer questions correctly. This difficulty is amplified for smaller language models that cannot encode as much information in their parameters as larger models. The "Specializing Large Language Models for Telecom Networks" challenge aimed to enhance the performance of two small language models, Phi-2 and Falcon-7B in telecommunication question answering. In this paper, we present our question answering systems for this challenge. Our solutions achieved leading marks of 81.9% accuracy for Phi-2 and 57.3% for Falcon-7B. We have publicly released our code and fine-tuned models.
• Abstract（参考訳）: ドメイン固有の質問応答は、質問に正しく答えるために必要な深い技術知識を考えると、言語モデルでは依然として難しい。 この困難さは、より大きなモデルと同じ量のパラメータの情報をエンコードできない、より小さな言語モデルに対して増幅される。 テレコムネットワークのための大規模言語モデル」の課題は、通信質問応答におけるPhi-2とFalcon-7Bの2つの小言語モデルの性能向上であった。 本稿では,この問題に対する質問応答システムについて述べる。 我々の解決策はPhi-2の81.9%の精度とFalcon-7Bの57.3%の精度を達成した。 コードと微調整されたモデルを公開しました。

関連論文リスト

• QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling [10.42541749928513]
  GPT-3.5は、最近の研究で、Retrieval Augmented Generationフレームワークにおいて、通信関連質問に対する注目すべき精度を得るために使われている。 本稿では、QMOSについて述べる。QMOSは、電信分野における複数の質問に答える際のLLMの性能を高めるために、Q-Masked LosとOption Shufflingのトリックを利用する革新的な手法である。
  論文  参考訳（メタデータ） (2024-09-21T15:32:10Z)
• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• STaR-GATE: Teaching Language Models to Ask Clarifying Questions [32.71841885198304]
  有用な質問を生成するために,言語モデルの自己改善能力について検討する。 25,500のユニークなペルソナ・タスク・プロンプトの合成データセットを生成する。 より良い質問をするために言語モデルを教えることは、よりパーソナライズされた回答につながる。
  論文  参考訳（メタデータ） (2024-03-28T05:35:22Z)
• Frontier Language Models are not Robust to Adversarial Arithmetic, or "What do I need to say so you agree 2+2=5? [88.59136033348378]
  言語モデルアライメントのための単純なテストベッドを提供する逆算術の問題を考察する。 この問題は自然言語で表される算術的な問題から成り、質問が完了する前に任意の逆文字列を挿入する。 これらの攻撃に対して、強化学習やエージェント構成ループを通じて、モデルを部分的に強化できることが示される。
  論文  参考訳（メタデータ） (2023-11-08T19:07:10Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
  LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。
  論文  参考訳（メタデータ） (2023-02-23T20:18:52Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)
• BERTuit: Understanding Spanish language in Twitter through a native transformer [70.77033762320572]
  bfBERTuitは、これまでスペイン語のために提案された大きなトランスフォーマーで、2億3000万のスペイン語ツイートの膨大なデータセットで事前トレーニングされている。 私たちのモチベーションは、スペイン語のTwitterをよりよく理解し、このソーシャルネットワークにフォーカスしたアプリケーションに利用するための強力なリソースを提供することです。
  論文  参考訳（メタデータ） (2022-04-07T14:28:51Z)
• Multilingual Answer Sentence Reranking via Automatically Translated Data [97.98885151955467]
  本稿では,現代の質問応答システム(QA)のコアコンポーネントである,多言語回答文選択(AS2)モデルの設計について述べる。 主なアイデアは、あるリソースリッチ言語(英語など)から、他の言語へのデータ転送であり、リソースの観点からはよりリッチである。
  論文  参考訳（メタデータ） (2021-02-20T03:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。