論文の概要: Cheap Learning: Maximising Performance of Language Models for Social Data Science Using Minimal Data

• arxiv url: http://arxiv.org/abs/2401.12295v1
• Date: Mon, 22 Jan 2024 19:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 17:41:18.322808
• Title: Cheap Learning: Maximising Performance of Language Models for Social Data Science Using Minimal Data
• Title（参考訳）: 安価学習: 最小データを用いたソーシャルデータサイエンスのための言語モデルの性能の最大化
• Authors: Leonardo Castro-Gonzalez and Yi-Ling Chung and Hannak Rose Kirk and John Francis and Angus R. Williams and Pica Johansson and Jonathan Bright
• Abstract要約: 近年発展してきた3つの安価な技術について概観する。 後者では、大規模言語モデルのゼロショットプロンプトの特定の事例について概観する。 我々は,すべての技術に対して優れた性能を示し,特に大規模言語モデルのプロンプトが,非常に低コストで高い精度を達成できることを示す。
• 参考スコア（独自算出の注目度）: 1.8692054990918079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of machine learning has recently made significant progress in reducing the requirements for labelled training data when building new models. These `cheaper' learning techniques hold significant potential for the social sciences, where development of large labelled training datasets is often a significant practical impediment to the use of machine learning for analytical tasks. In this article we review three `cheap' techniques that have developed in recent years: weak supervision, transfer learning and prompt engineering. For the latter, we also review the particular case of zero-shot prompting of large language models. For each technique we provide a guide of how it works and demonstrate its application across six different realistic social science applications (two different tasks paired with three different dataset makeups). We show good performance for all techniques, and in particular we demonstrate how prompting of large language models can achieve high accuracy at very low cost. Our results are accompanied by a code repository to make it easy for others to duplicate our work and use it in their own research. Overall, our article is intended to stimulate further uptake of these techniques in the social sciences.
• Abstract（参考訳）: 機械学習の分野は最近、新しいモデルを構築する際にラベル付きトレーニングデータの要件を減らすことに大きな進歩を遂げている。 これらの‘チーパー’学習技術は、大規模なラベル付きトレーニングデータセットの開発が分析タスクに機械学習を使用する上で、しばしば重要な実践上の障害となる社会科学に大きな可能性を秘めている。 本稿では,近年発展してきた3つの「チープ」技術について概説する。 後者については、大規模言語モデルのゼロショットプロンプトの特定の事例についてもレビューする。 それぞれのテクニックについて、その動作のガイドを提供し、6つの異なる現実的な社会科学アプリケーション(2つの異なるタスクと3つの異なるデータセットメイクアップのペア)にまたがってそのアプリケーションをデモします。 我々は,すべての手法に優れた性能を示し,特に,大規模言語モデルのプロンプトが極めて低コストで高い精度を達成できることを実証する。 結果にはコードリポジトリが伴っていて、他の人が作業を複製し、自分たちの研究で使用しやすくしています。 本論文は,社会科学におけるこれらの手法のさらなる取り込みをめざすものである。

関連論文リスト

• AI Competitions and Benchmarks: Dataset Development [42.164845505628506]
  本章では,我々の実践経験に富んだ,確立した方法論ツールの概要について概観する。 データセット開発に関わるタスクを開発し、その効果的な管理に関する洞察を提供する。 次に、データ収集、変換、品質評価を含む実装プロセスの詳細について述べる。
  論文  参考訳（メタデータ） (2024-04-15T12:01:42Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Towards A Unified Agent with Foundation Models [18.558328028366816]
  強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。 我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。 探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
  論文  参考訳（メタデータ） (2023-07-18T22:37:30Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• A Vision for Semantically Enriched Data Science [19.604667287258724]
  ドメイン知識の活用やデータセマンティクスといった重要な分野は、ほとんど自動化されていない分野です。 データサイエンスの自動化のための新しいツールと組み合わせて、データに対する“セマンティック”な理解と推論を活用することが、一貫性と説明可能なデータ拡張と変換にどのように役立つか、私たちは考えています。
  論文  参考訳（メタデータ） (2023-03-02T16:03:12Z)
• Data-driven Approaches to Surrogate Machine Learning Model Development [3.2734466030053175]
  本稿では,機械学習モデル開発における3つの確立された手法の適応性を実証する。 これらの方法は、データ拡張、カスタム損失関数、転送学習である。 3つのテクニックを組み合わせることで、モデルパフォーマンスが大幅に向上すると考えています。
  論文  参考訳（メタデータ） (2022-10-06T01:30:11Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Understanding the World Through Action [91.3755431537592]
  ラベルのないデータを利用するための汎用的で原則的で強力なフレームワークは、強化学習から導き出すことができると私は主張する。 このような手順が、下流の潜在的なタスクとどのように密接に一致しているかについて論じます。
  論文  参考訳（メタデータ） (2021-10-24T22:33:52Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better [0.0]
  ディープラーニングモデルの進歩的な改善により、パラメータの数、レイテンシ、トレーニングに必要なリソースなどが大幅に増加した。 深層学習における効率性の問題の提示と動機付けを行い,続いてモデル効率の5つの中核領域を徹底的に調査した。 これは、モデリング技術からハードウェアサポートまで、モデル効率のランドスケープをカバーした、効率的なディープラーニング分野における初めての総合的な調査であると考えています。
  論文  参考訳（メタデータ） (2021-06-16T17:31:38Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。