論文の概要: Learnings from Data Integration for Augmented Language Models

• arxiv url: http://arxiv.org/abs/2304.04576v1
• Date: Mon, 10 Apr 2023 13:28:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:00:42.832136
• Title: Learnings from Data Integration for Augmented Language Models
• Title（参考訳）: 拡張言語モデルのためのデータ統合から学ぶ
• Authors: Alon Halevy and Jane Dwivedi-Yu
• Abstract要約: 大きな言語モデルの制限の1つは、最新の、プロプライエタリまたはパーソナルデータにアクセスできないことである。 本稿では,データ統合研究から学んだ教訓が,今日の言語モデルにおける研究パスの解明に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the limitations of large language models is that they do not have access to up-to-date, proprietary or personal data. As a result, there are multiple efforts to extend language models with techniques for accessing external data. In that sense, LLMs share the vision of data integration systems whose goal is to provide seamless access to a large collection of heterogeneous data sources. While the details and the techniques of LLMs differ greatly from those of data integration, this paper shows that some of the lessons learned from research on data integration can elucidate the research path we are conducting today on language models.
• Abstract（参考訳）: 大規模言語モデルの制限の1つは、最新のプロプライエタリデータや個人データにアクセスできないことである。 その結果、外部データにアクセスする技術で言語モデルを拡張しようとする複数の取り組みがある。 その意味でllmは、異種データソースの大規模なコレクションへのシームレスなアクセスを目標とするデータ統合システムのビジョンを共有している。 LLMの詳細と技術は、データ統合とは大きく異なるが、本稿は、データ統合の研究から学んだ教訓のいくつかが、現在我々が言語モデルで行っている研究パスを解明できることを示している。

関連論文リスト

• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
  本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。 LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。 本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
  論文  参考訳（メタデータ） (2024-09-24T16:31:33Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Tracking the perspectives of interacting language models [11.601000749578647]
  大規模言語モデル(LLM)は前例のない速度で高品質な情報を生成することができる。 これらのモデルが社会に浸透し続ければ、それらが生み出すコンテンツはますますデータベースに浸透していくだろう。
  論文  参考訳（メタデータ） (2024-06-17T17:20:16Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue [18.325675189960833]
  オープンで再現可能な研究をサポートするために、研究のために利用可能なデータセットが急速に増えている。 データセットの可用性が向上するにつれて、それらの発見と再利用のための品質メタデータを持つことがより重要になる。 本稿では,LLMに基づくインコンテキスト学習を通じて,大規模言語モデル(LLM)を用いて,主題メタデータのコスト効率のよいアノテーションを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:52:33Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• An Open Dataset and Model for Language Identification [84.15194457400253]
  マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。 モデルとデータセットの両方を研究コミュニティに公開しています。
  論文  参考訳（メタデータ） (2023-05-23T08:43:42Z)
• GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented Dialogue Systems [66.92182084456809]
  本稿では,英語のToDデータセットから大規模多言語ToDデータセットであるGlobalWoZを生成する新しいデータキュレーション手法を提案する。 本手法は,対話テンプレートの翻訳と,対象国におけるローカルエンティティの充填に基づく。 我々はデータセットと強力なベースラインのセットを公開し、実際のユースケースにおける多言語ToDシステムの学習を奨励します。
  論文  参考訳（メタデータ） (2021-10-14T19:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。