論文の概要: A Simple and Effective Framework for Strict Zero-Shot Hierarchical
Classification
- arxiv url: http://arxiv.org/abs/2305.15282v2
- Date: Fri, 26 May 2023 13:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 10:41:13.434064
- Title: A Simple and Effective Framework for Strict Zero-Shot Hierarchical
Classification
- Title(参考訳): 厳密なゼロショット階層分類のための単純かつ効果的な枠組み
- Authors: Rohan Bhambhoria, Lei Chen, Xiaodan Zhu
- Abstract要約: 大規模言語モデル(LLM)は、特にゼロまたは少数ショット設定において、ベンチマークタスクで強力なパフォーマンスを達成した。
階層的なデータセットに対して,より示唆的なロングテール予測タスクを提案する。
本手法は,リソース集約的なプロセスである更新を一切必要とせず,複数のデータセットにまたがる高いパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 23.109264015761873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, large language models (LLMs) have achieved strong
performance on benchmark tasks, especially in zero or few-shot settings.
However, these benchmarks often do not adequately address the challenges posed
in the real-world, such as that of hierarchical classification. In order to
address this challenge, we propose refactoring conventional tasks on
hierarchical datasets into a more indicative long-tail prediction task. We
observe LLMs are more prone to failure in these cases. To address these
limitations, we propose the use of entailment-contradiction prediction in
conjunction with LLMs, which allows for strong performance in a strict
zero-shot setting. Importantly, our method does not require any parameter
updates, a resource-intensive process and achieves strong performance across
multiple datasets.
- Abstract(参考訳): 近年、大規模言語モデル(LLM)は、特にゼロまたは少数ショット設定において、ベンチマークタスクにおいて強力なパフォーマンスを実現している。
しかしながら、これらのベンチマークは、階層的な分類のような現実世界の課題に適切に対処しないことが多い。
この課題に対処するために,階層型データセットの従来のタスクを,より示唆的なロングテール予測タスクにリファクタリングすることを提案する。
これらの場合、LSMは失敗しがちである。
これらの制約に対処するため、厳密なゼロショット設定で高い性能を実現するLLMと併用してエンテーメント・コントラディション予測(entailment-contradiction prediction)を提案する。
重要なことに、このメソッドはパラメータ更新やリソース集約的なプロセスを必要としず、複数のデータセットにまたがる強力なパフォーマンスを実現します。
関連論文リスト
- Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM
Evaluation [51.99752147380505]
本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。
マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。
我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
論文 参考訳(メタデータ) (2024-02-18T03:40:06Z) - Task Contamination: Language Models May Not Be Few-Shot Anymore [9.696290050028237]
大きな言語モデル(LLM)は、様々なゼロショットおよび少数ショットタスクで素晴らしいパフォーマンスを提供する。
しかし、ゼロショットや少数ショットの設定での成功はタスクの汚染に影響される可能性がある。
本稿では,LLMのゼロショット性能と少数ショット性能が,時間とともに時間とともにどのように変化したかを検討する。
論文 参考訳(メタデータ) (2023-12-26T21:17:46Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark
for Large Language Models [82.27118457984812]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench 上での10 つの LLM の評価により,LLM の弱さを強調し,今後の研究への道のりを示唆する。
論文 参考訳(メタデータ) (2023-10-31T12:32:38Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Large Language Model Routing with Benchmark Datasets [40.42044096089315]
通常、単一のモデルがすべてのタスクやユースケースで最高の精度を達成することはない。
そこで我々は,この選択のための"ルータ"モデルを学習するために,ベンチマークデータセットを再利用した新しい定式化を提案する。
本稿では,この問題をバイナリ分類タスクの集合に還元できることを示す。
論文 参考訳(メタデータ) (2023-09-27T17:08:40Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot
Relation Extractors [11.28397947587596]
大規模命令追従データセット上での細調整大型言語モデル(LLM)は、幅広いNLPタスクの性能を大幅に向上させる。
しかし、先進的な命令調整 LLM でさえ、関係抽出(RE)において小さな LM を上回りません。
本稿では,REを質問応答(QA)と整合させるフレームワークであるQA4REを提案する。
論文 参考訳(メタデータ) (2023-05-18T17:48:03Z) - Towards Practical Few-Shot Query Sets: Transductive Minimum Description
Length Inference [0.0]
そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。
制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
論文 参考訳(メタデータ) (2022-10-26T08:06:57Z) - CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of
Pre-trained Language Models [59.49705076369856]
プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。
大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。
次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
論文 参考訳(メタデータ) (2021-02-07T09:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。