論文の概要: TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks

• arxiv url: http://arxiv.org/abs/2409.05997v1
• Date: Mon, 9 Sep 2024 18:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 20:02:25.024700
• Title: TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks
• Title（参考訳）: TransformerRanker: 下流の分類タスクに最適な言語モデルを見つけるためのツール
• Authors: Lukas Garbas, Max Ploner, Alan Akbik,
• Abstract要約: TransformerRankerは、事前訓練された言語モデルの分類タスクをランク付けする軽量ライブラリである。 我々のライブラリは、転送可能性推定のための現在のアプローチを実装している。 TransformerRankerは,Pipインストール可能なオープンソースライブラリとして利用可能です。
• 参考スコア（独自算出の注目度）: 2.497666465251894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification tasks in NLP are typically addressed by selecting a pre-trained language model (PLM) from a model hub, and fine-tuning it for the task at hand. However, given the very large number of PLMs that are currently available, a practical challenge is to determine which of them will perform best for a specific downstream task. With this paper, we introduce TransformerRanker, a lightweight library that efficiently ranks PLMs for classification tasks without the need for computationally costly fine-tuning. Our library implements current approaches for transferability estimation (LogME, H-Score, kNN), in combination with layer aggregation options, which we empirically showed to yield state-of-the-art rankings of PLMs (Garbas et al., 2024). We designed the interface to be lightweight and easy to use, allowing users to directly connect to the HuggingFace Transformers and Dataset libraries. Users need only select a downstream classification task and a list of PLMs to create a ranking of likely best-suited PLMs for their task. We make TransformerRanker available as a pip-installable open-source library https://github.com/flairNLP/transformer-ranker.
• Abstract（参考訳）: NLPの分類タスクは、通常、モデルハブから事前訓練された言語モデル(PLM)を選択し、手元のタスクのために微調整することで対処される。 しかし、現在利用可能な非常に多くのPLMを考えると、どのPLMが特定の下流タスクに最適な性能を発揮するかを決定するのが現実的な課題である。 本稿では,計算コストのかかる微調整を必要とせず,分類タスクのPLMを効率的にランク付けする軽量ライブラリであるTransformerRankerを紹介する。 提案ライブラリは,転送可能性推定(LogME, H-Score, kNN)とレイヤ集約オプションを組み合わせることで,PLMの最先端ランキング(Garbas et al , 2024)を実証的に提示する。 私たちは、軽量で使いやすいインターフェースを設計し、ユーザがHuggingFace TransformersやDatasetライブラリに直接接続できるようにしました。 ユーザは、ダウンストリームの分類タスクと PLM のリストのみを選択して、タスクに最も適しているであろう PLM のランキングを作成する必要がある。 TransformerRankerは、pipインストール可能なオープンソースライブラリhttps://github.com/flairNLP/transformer-rankerとして利用可能です。

関連論文リスト

• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Lightweight Safety Classification Using Pruned Language Models [0.0]
  本稿では,大規模言語モデルに対するコンテンツ安全性と迅速なインジェクション分類のための新しい手法を提案する。 提案手法は,GPT-4oを超える優れた性能と,タスク毎に微調整された特別目的モデルを実現する。 以上の結果から,コンテンツ安全性の分類やインジェクションの早期検出,出力トークンの同時生成に,単一汎用LLMが使用可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T02:13:13Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
  本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。 LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。 これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
  論文  参考訳（メタデータ） (2023-05-15T17:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。