論文の概要: PromptShots at the FinNLP-2022 ERAI Tasks: Pairwise Comparison and Unsupervised Ranking

• arxiv url: http://arxiv.org/abs/2301.06606v1
• Date: Mon, 16 Jan 2023 20:54:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:24:17.234820
• Title: PromptShots at the FinNLP-2022 ERAI Tasks: Pairwise Comparison and Unsupervised Ranking
• Title（参考訳）: finnlp-2022 eraiタスクのプロンプトショット:ペア比較と教師なしランキング
• Authors: Peratham Wiriyathammabhum
• Abstract要約: 本報告では, アマチュア投資家の合理性評価に関する共通課題へのプロンプトショットの提出について述べる。 ペア比較では,T5-small と OpenAI InstructGPT の言語モデルを用いた。 驚いたことに、我々は、中国のデータに基づいて訓練されたOpenAI InstructGPT言語モデルが、私たちの提出に最も適していることを観察した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This report describes our PromptShots submissions to a shared task on Evaluating the Rationales of Amateur Investors (ERAI). We participated in both pairwise comparison and unsupervised ranking tasks. For pairwise comparison, we employed instruction-based models based on T5-small and OpenAI InstructGPT language models. Surprisingly, we observed OpenAI InstructGPT language model few-shot trained on Chinese data works best in our submissions, ranking 3rd on the maximal loss (ML) pairwise accuracy. This model works better than training on the Google translated English data by a large margin, where the English few-shot trained InstructGPT model even performs worse than an instruction-based T5-small model finetuned on the English data. However, all instruction-based submissions do not perform well on the maximal potential profit (MPP) pairwise accuracy where there are more data and learning signals. The Chinese few-shot trained InstructGPT model still performs best in our setting. For unsupervised ranking, we utilized many language models, including many financial-specific ones, and Bayesian lexicons unsupervised-learned on both Chinese and English words using a method-of-moments estimator. All our submissions rank best in the MPP ranking, from 1st to 3rd. However, they all do not perform well for ML scoring. Therefore, both MPP and ML scores need different treatments since we treated MPP and ML using the same formula. Our only difference is the treatment of market sentiment lexicons.
• Abstract（参考訳）: 本報告では, アマチュア投資家の合理性を評価するための共通課題について紹介する。 私たちは対数比較と教師なしのランキングタスクの両方に参加しました。 ペア比較では,T5-small と OpenAI InstructGPT の言語モデルを用いた。 驚いたことに、我々は、中国のデータに基づいて訓練されたOpenAI InstructGPT言語モデルが、私たちの提出物で最もうまく機能し、最大損失(ML)の2倍の精度でランキング3位となった。 このモデルは、google翻訳の英語データのトレーニングよりも大きなマージンでうまく動作し、英語の少数ショット訓練されたinstructgptモデルは、英語データに基づいて微調整された命令ベースのt5-smallモデルよりもパフォーマンスが悪くなる。 しかし、全ての命令に基づく提出は、より多くのデータと学習信号がある場合の最大潜在利益(mpp)のペアワイズ精度ではうまく機能しない。 中国の数発訓練されたInstructGPTモデルは、今でもわれわれの環境では最高だ。 教師なしランク付けには,多くの財務特化語を含む多くの言語モデルと,モーメント推定器を用いて中国語と英語の両方で教師なしの語彙を利用した。 全応募者はMPPランキングで1位から3位にランクインしている。 しかし、いずれもML得点では成績が良くない。 したがって,MPPとMLのスコアは同じ式を用いてMPPとMLを治療したので,それぞれ異なる治療が必要である。 唯一の違いは、市場のセンチメントレキシコンの扱いです。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)
• Efficient Finetuning Large Language Models For Vietnamese Chatbot [1.2075778142867704]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて顕著な性能を発揮することが示されている。 Alpaca、GPT4All、Chat-Doctorなど、オープンソースの大規模インストラクションフォローデータセットを活用しています。 我々は,低ランク適応(LoRA)によるパラメータ効率チューニングを2つのオープンLLM上で行い,その結果,Bloomz-Chat,Bloomz-Doctor,GPTJ-Chat,GPTJ-Doctorの4つのモデルを得た。
  論文  参考訳（メタデータ） (2023-09-09T00:11:53Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Large Language Models Are State-of-the-Art Evaluators of Translation Quality [7.818228526742237]
  GEMBAは、翻訳品質を評価するためのGPTベースのメトリクスである。 本稿では,ChatGPTとGPT-4を含む9種類のGPTモデルについて検討する。 本手法は, MQMに基づく人間ラベルと比較した場合, 両モードで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-02-28T12:23:48Z)
• Adam Mickiewicz University at WMT 2022: NER-Assisted and Quality-Aware Neural Machine Translation [0.045880283710344076]
  本稿では,WMT 2022 General MT Taskの制約トラックに対するAdam Mickiewicz University(AMU)の提出について述べる。 システムはトランスフォーマー(大きな)アーキテクチャに基づく4つのモデルの重み付けアンサンブルである。 自動評価結果によると,本システムは両翻訳の順にランクインする。
  論文  参考訳（メタデータ） (2022-09-07T07:14:07Z)
• FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.158067688043554]
  この研究は、中国初の総合的な小サンプル評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介した。 1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。 次に、最先端の複数ショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:25Z)
• Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks [2.6189995284654737]
  SuperGLUEのようなリーダーボードは、NLPの活発な開発のための重要なインセンティブと見なされている。 テストデータセットは浅瀬に対して脆弱であることを示す。 最も簡単な説明として)RSGリーダーボードにおけるSOTAモデルのパフォーマンスの大部分は、これらの浅瀬を利用するためである可能性が高い。
  論文  参考訳（メタデータ） (2021-05-03T22:19:22Z)
• CPM: A Large-scale Generative Chinese Pre-trained Language Model [76.65305358932393]
  我々は,大規模な中国語学習データに基づく生成事前学習を備えた中国語事前学習言語モデル(CPM)をリリースする。 CPMは、数ショット(ゼロショットでも)学習の設定において、多くのNLPタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-01T11:32:56Z)
• Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation [50.0258495437314]
  機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。 BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。 mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
  論文  参考訳（メタデータ） (2020-04-30T16:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。