論文の概要: Leveraging Large Language Models for Structure Learning in Prompted Weak
Supervision
- arxiv url: http://arxiv.org/abs/2402.01867v1
- Date: Fri, 2 Feb 2024 19:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:54:07.195040
- Title: Leveraging Large Language Models for Structure Learning in Prompted Weak
Supervision
- Title(参考訳): 弱い指導による構造学習のための大規模言語モデル活用
- Authors: Jinyan Su, Peilin Yu, Jieyu Zhang, Stephen H. Bach
- Abstract要約: 私たちのStructure Refining Moduleは、ベンチマークタスクで最大12.7ポイント、PromptedWSパイプラインを改善しています。
また、包括的アブレーション実験と分析により、効率と性能のトレードオフについても検討する。
- 参考スコア(独自算出の注目度): 24.866270447991752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompted weak supervision (PromptedWS) applies pre-trained large language
models (LLMs) as the basis for labeling functions (LFs) in a weak supervision
framework to obtain large labeled datasets. We further extend the use of LLMs
in the loop to address one of the key challenges in weak supervision: learning
the statistical dependency structure among supervision sources. In this work,
we ask the LLM how similar are these prompted LFs. We propose a Structure
Refining Module, a simple yet effective first approach based on the
similarities of the prompts by taking advantage of the intrinsic structure in
the embedding space. At the core of Structure Refining Module are Labeling
Function Removal (LaRe) and Correlation Structure Generation (CosGen). Compared
to previous methods that learn the dependencies from weak labels, our method
finds the dependencies which are intrinsic to the LFs and less dependent on the
data. We show that our Structure Refining Module improves the PromptedWS
pipeline by up to 12.7 points on the benchmark tasks. We also explore the
trade-offs between efficiency and performance with comprehensive ablation
experiments and analysis. Code for this project can be found in
https://github.com/BatsResearch/su-bigdata23-code.
- Abstract(参考訳): Promptedの弱い監視(PromptedWS)は、大きなラベル付きデータセットを得るための弱い監視フレームワークにおけるラベル付け機能(LF)の基礎として、事前訓練された大規模言語モデル(LLM)を適用している。
弱監督における重要な課題の1つ、すなわち、監督源間の統計的依存構造を学習するために、ループにおけるLLMの使用をさらに拡張する。
この研究において、我々はLLMに対して、これらがいかにLFを誘導しているかを尋ねる。
組込み空間における本質的な構造を生かして,プロンプトの類似性に基づく簡易かつ効果的な第1の手法であるStructure Refining Moduleを提案する。
構造精製モジュールのコアにはラベル付け機能除去(LaRe)と相関構造生成(CosGen)がある。
弱いラベルから依存関係を学習する以前の方法と比較すると,本手法はlfに固有でデータに依存しない依存関係を見出す。
私たちのStructure Refining Moduleは、ベンチマークタスクで最大12.7ポイント、PromptedWSパイプラインを改善しています。
また,包括的アブレーション実験と解析により,効率と性能のトレードオフを考察した。
このプロジェクトのコードはhttps://github.com/BatsResearch/su-bigdata23-codeにある。
関連論文リスト
- StructLM: Towards Building Generalist Models for Structured Knowledge
Grounding [50.73401326337493]
StructLMは、評価された18のデータセットのうち14のタスク固有のモデルを上回る一連のモデルである。
予測とは対照的に,StructLM-34BはStructLM-7Bよりもわずかに改善されている。
論文 参考訳(メタデータ) (2024-02-26T15:47:01Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL
through Workflow Paradigm [19.696405897131587]
大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。
単一ステップのチェーン・オブ・シントアプローチは、テキストから現実的といった複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面している。
分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-16T13:24:05Z) - Fluctuation-based Adaptive Structured Pruning for Large Language Models [44.217363567065]
FLAP(FLuctuation-based Adaptive Structured Pruning)は、大規模言語モデルのためのトレーニング不要な構造化プルーニングフレームワークである。
ストレージを効果的に削減し、推論速度を向上することで、ハードウェアに優しい。
論文 参考訳(メタデータ) (2023-12-19T09:23:48Z) - Struc-Bench: Are Large Language Models Really Good at Generating Complex
Structured Data? [52.17988569079598]
現在のLarge Language Models (LLM) は複雑な構造化された出力を生成する必要のあるタスクと競合する。
本稿では,この能力向上のソリューションとして,構造を考慮した微調整手法を提案する。
実験の結果,LLaMA-7Bに適用した場合,構造認識による微調整手法は自然言語の制約への順応性を著しく向上することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:31:58Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Table Meets LLM: Can Large Language Models Understand Structured Table
Data? A Benchmark and Empirical Study [47.6239689986714]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
我々は,LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで,これを理解しようとしている。
その結果、テーブル入力形式、コンテンツ順序、ロールプロンプト、パーティションマークなど、いくつかの入力選択によってパフォーマンスが変化していることが判明した。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-16T17:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。