論文の概要: ArcheType: A Novel Framework for Open-Source Column Type Annotation using Large Language Models

• arxiv url: http://arxiv.org/abs/2310.18208v3
• Date: Mon, 19 Aug 2024 13:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 04:07:00.073195
• Title: ArcheType: A Novel Framework for Open-Source Column Type Annotation using Large Language Models
• Title（参考訳）: ArcheType: 大規模言語モデルを用いたオープンソースのカラム型アノテーションのための新しいフレームワーク
• Authors: Benjamin Feuer, Yurong Liu, Chinmay Hegde, Juliana Freire,
• Abstract要約: ArcheTypeは、コンテキストサンプリング、即時シリアライゼーション、モデルクエリ、ラベルリマッピングのための、シンプルで実用的な方法である。 ゼロショットCTAベンチマークに最先端の性能を新たに確立する。
• 参考スコア（独自算出の注目度）: 24.867534196627222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing deep-learning approaches to semantic column type annotation (CTA) have important shortcomings: they rely on semantic types which are fixed at training time; require a large number of training samples per type and incur large run-time inference costs; and their performance can degrade when evaluated on novel datasets, even when types remain constant. Large language models have exhibited strong zero-shot classification performance on a wide range of tasks and in this paper we explore their use for CTA. We introduce ArcheType, a simple, practical method for context sampling, prompt serialization, model querying, and label remapping, which enables large language models to solve CTA problems in a fully zero-shot manner. We ablate each component of our method separately, and establish that improvements to context sampling and label remapping provide the most consistent gains. ArcheType establishes a new state-of-the-art performance on zero-shot CTA benchmarks (including three new domain-specific benchmarks which we release along with this paper), and when used in conjunction with classical CTA techniques, it outperforms a SOTA DoDuo model on the fine-tuned SOTAB benchmark. Our code is available at https://github.com/penfever/ArcheType.
• Abstract（参考訳）: 既存のセマンティックカラム型アノテーション(CTA)に対するディープラーニングアプローチには、トレーニング時に固定されたセマンティックタイプに依存すること、型毎のトレーニングサンプルを大量に必要とし、大量のランタイム推論コストを発生させること、新しいデータセットで型が一定である場合でもパフォーマンスが低下する、という重大な欠点がある。 大規模言語モデルでは,多岐にわたるタスクにおいて,ゼロショット分類性能が強いことが確認されている。 ArcheTypeは、コンテキストサンプリング、即時シリアライズ、モデルクエリ、ラベルリマッピングのためのシンプルな実用的な方法であり、大規模な言語モデルで完全にゼロショットでCTAの問題を解決することができる。 提案手法の各コンポーネントを個別にアブレーションし、コンテキストサンプリングとラベルリマッピングの改善により、最も一貫した利得が得られることを確かめる。 ArcheTypeは、ゼロショットCTAベンチマーク(この記事とともにリリースした3つの新しいドメイン特化ベンチマークを含む)で新しい最先端性能を確立し、古典的なCTAテクニックと併用すると、細調整されたSOTABベンチマークでSOTA DoDuoモデルより優れている。 私たちのコードはhttps://github.com/penfever/ArcheTypeで利用可能です。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Calibrated Seq2seq Models for Efficient and Generalizable Ultra-fine Entity Typing [10.08153231108538]
  超微細エンティティタイピング用に設計されたseq2seqモデルであるCASENTを提案する。 我々のモデルは、エンティティを入力として参照し、制約されたビームサーチを用いて複数のタイプを自動回帰的に生成する。 提案手法は,F1スコアとキャリブレーション誤差の点から,50倍以上の推算速度を達成しながら,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-01T20:39:12Z)
• In-Context Learning for Text Classification with Many Labels [34.87532045406169]
  多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られているため困難である。 我々は、この制限を回避するために、事前訓練された高密度検索モデルを使用する。 我々は、コンテキスト内サンプルの数と異なるモデルスケールのパフォーマンスを分析します。
  論文  参考訳（メタデータ） (2023-09-19T22:41:44Z)
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
  大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。 テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。 このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
  論文  参考訳（メタデータ） (2022-10-19T17:08:13Z)
• Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation [36.541309948222306]
  各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。 そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-28T04:05:40Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。