論文の概要: Label-Efficient Model Selection for Text Generation

• arxiv url: http://arxiv.org/abs/2402.07891v3
• Date: Thu, 6 Jun 2024 11:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 23:40:31.350183
• Title: Label-Efficient Model Selection for Text Generation
• Title（参考訳）: テキスト生成のためのラベル効率の良いモデル選択
• Authors: Shir Ashury-Tahan, Ariel Gera, Benjamin Sznajder, Leshem Choshen, Liat Ein-Dor, Eyal Shnarch,
• Abstract要約: DiffUseは、好みアノテーションに基づいた候補テキスト生成モデル間の情報決定を行う手法である。 何百ものモデルペアに対する一連の実験において、DiffUseは必要なアノテーション数を劇的に削減できることを示した。
• 参考スコア（独自算出の注目度）: 14.61636207880449
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model selection for a given target task can be costly, as it may entail extensive annotation of the quality of outputs of different models. We introduce DiffUse, an efficient method to make an informed decision between candidate text generation models based on preference annotations. DiffUse reduces the required amount of annotations, thus saving valuable time and resources in performing evaluation. DiffUse intelligently selects instances by clustering embeddings that represent the semantic differences between model outputs. Thus, it is able to identify a subset of examples that are more informative for preference decisions. Our method is model-agnostic, and can be applied to any text generation model for selecting between models, prompts and configurations. Moreover, we propose a practical iterative approach for dynamically determining how many instances to annotate. In a series of experiments over hundreds of model pairs, we demonstrate that DiffUse can dramatically reduce the required number of annotations -- by up to 75% -- while maintaining high evaluation reliability.
• Abstract（参考訳）: 与えられた対象タスクに対するモデル選択は、異なるモデルの出力の品質に関する広範なアノテーションを必要とするため、コストがかかる可能性がある。 DiffUseは、選好アノテーションに基づく候補テキスト生成モデル間の情報決定を効果的に行う方法である。 DiffUseは必要なアノテーション量を削減し、評価を行う上で貴重な時間とリソースを節約します。 DiffUseは、モデル出力間のセマンティックな差異を表す埋め込みをクラスタリングすることで、インテリジェントにインスタンスを選択する。 したがって、選好決定に対してより有益な例のサブセットを特定できる。 提案手法はモデルに依存しず,任意のテキスト生成モデルに適用し,モデル,プロンプト,構成を選択する。 さらに,アノテートするインスタンス数を動的に決定する実用的な反復手法を提案する。 何百ものモデルペアに対する一連の実験では、高い評価信頼性を維持しながら、DiffUseが要求されるアノテーションの数を最大75%削減できることを示した。

関連論文リスト

• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Unveiling the Multi-Annotation Process: Examining the Influence of Annotation Quantity and Instance Difficulty on Model Performance [1.7343894615131372]
  データセットがインスタンス毎にひとつのアノテーションから複数のアノテーションに拡張された場合、パフォーマンススコアがどのように変化するかを示す。 アノテーション予算の異なるデータセットを生成するための,新しいマルチアノテーションシミュレーションプロセスを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:12:41Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Selective Annotation Makes Language Models Better Few-Shot Learners [97.07544941620367]
  大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。 本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。 本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:01:15Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Multi-label learning for dynamic model type recommendation [13.304462985219237]
  本稿では,オンラインローカルプール(OLP)技術のための問題非依存型動的ベースクラス化モデルを提案する。 提案するフレームワークは,関連するモデルタイプセットを推奨するマルチラベルメタ分類器を構築する。 実験の結果、異なるデータ分布は局所的な範囲で異なるモデルタイプを好んだ。
  論文  参考訳（メタデータ） (2020-04-01T16:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。