論文の概要: HuixiangDou-CR: Coreference Resolution in Group Chats

• arxiv url: http://arxiv.org/abs/2405.02817v1
• Date: Sun, 5 May 2024 05:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:10:30.092180
• Title: HuixiangDou-CR: Coreference Resolution in Group Chats
• Title（参考訳）: HuixiangDou-CR: グループチャットにおける参照解決
• Authors: Huanjun Kong,
• Abstract要約: 本研究では,58kのチャットデータを前処理し,手動で2.3k質問を行った。 0.5Bから32Bの範囲でQwenモデルの微調整を行った。 これは、下流自然言語処理(NLP)タスクのための微調整大型言語モデル(LLM)の実現可能性を確認する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How to eliminate pronominal reference in group chats? In this work, we have preprocessed 58k authentic chat data and manually annotated 2.3k questions. The reliability of this annotation was confirmed by the scaling law. After this, we conducted fine-tuning on Qwen models, ranging from 0.5B to 32B parameters. The optimal version improved 29.07 in F1 score. This confirms the viability of fine-tuning Large Language Model (LLM) for downstream Natural Language Processing (NLP) tasks. Our contributions are: 1) Created Supervised Fine-Tuning (SFT) training data in alpaca format, along with a set of Low-Rank Adaptation (LoRA) weights, and 2) Developed a method for acquiring high-quality data leveraging scaling law principle. The script, raw data with alpaca format and experiments track are open-sourced on Github https://github.com/InternLM/HuixiangDou/tree/main/web/tools, HuggingFace https://huggingface.co/tpoisonooo and WandB https://wandb.ai/tpoisonooo/huixiangdou-cr/table?nw=nwusertpoisonooo . The privacy of the data involved has been authorized by users.
• Abstract（参考訳）: グループチャットにおけるプロノミナル参照の排除法 本研究では,58kのチャットデータを前処理し,手動で2.3k質問を行った。 このアノテーションの信頼性はスケーリング法によって確認された。 その後、0.5Bから32Bのパラメータを含むQwenモデルの微調整を行った。 最適なバージョンでは29.07点のF1スコアが向上した。 これは、下流自然言語処理(NLP)タスクのための微調整大型言語モデル(LLM)の実現可能性を確認する。 私たちの貢献は次のとおりです。 1) ローランド適応(LoRA)重みのセットとともに、アルパカ形式でのSFTトレーニングデータの作成 2)スケーリング法則を利用した高品質なデータ取得手法の開発。 スクリプト、alpacaフォーマット、実験トラックを備えた生データはGithub https://github.com/InternLM/HuixiangDou/tree/main/web/tools, HuggingFace https://huggingface.co/tpoisonooo and WandB https://wandb.ai/tpoisonooo/huixiangdou-cr/table? nw=nwusertpoisonooo。 関連するデータのプライバシーは、ユーザによって承認されている。

関連論文リスト

• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• OpenBezoar: Small, Cost-Effective and Open Models Trained on Mixes of Instruction Data [0.0]
  本研究では,OpenLLaMA 3Bv2をベースモデルとして,OpenBezoarファミリを微調整するレシピについて述べる。 我々はまず、Falcon-40Bモデルのオープンかつ非制限的命令微調整版を用いて、合成命令微調整データを生成する。 次に、コスト効率のよいQLoRAに基づく教師あり微調整を各スキームで逐次行う。
  論文  参考訳（メタデータ） (2024-04-18T13:57:18Z)
• Adversarial Robustness Limits via Scaling-Law and Human-Alignment Studies [19.100334346597982]
  モデルサイズ,データセットサイズ,合成データ品質が,対戦型トレーニングのための最初のスケーリング法則を開発することにより,ロバスト性にどのように影響するかを分析する。 我々のスケーリング法則は、先行技術における非効率性を明らかにし、現場を前進させるための実用的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-04-14T20:14:38Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Zephyr: Direct Distillation of LM Alignment [59.03530095974505]
  ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。 従来の研究では、より大規模なモデルに教師付き微調整(dSFT)を適用することにより、タスクの精度が大幅に向上することが示されている。 蒸留直接選好最適化(dDPO)を用いて,意図のアライメントを大幅に改善したチャットモデルを学習する。
  論文  参考訳（メタデータ） (2023-10-25T19:25:16Z)
• OpenChat: Advancing Open-source Language Models with Mixed-Quality Data [29.938434364765534]
  混合品質データを用いたオープンソースの言語モデルを進化させる新しいフレームワーク、OpenChatを提案する。 提案するC(onditioned)-RLFTは,異なるデータソースを粗い報酬ラベルとみなし,クラス条件のポリシーを学習する。 C-RLFTで微調整したopenchat-13bは、13bのオープンソース言語モデルの中で最も高い平均性能を達成する。
  論文  参考訳（メタデータ） (2023-09-20T11:54:40Z)
• Boosting Commit Classification with Contrastive Learning [0.8655526882770742]
  コミット分類(CC)は、ソフトウェアのメンテナンスにおいて重要なタスクである。 対照的な学習に基づくコミット分類フレームワークを提案する。 われわれのフレームワークはCCの問題をシンプルに解決できるが、スプリットショットのシナリオでは効果的に解決できる。
  論文  参考訳（メタデータ） (2023-08-16T10:02:36Z)
• UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification [102.58619642363959]
  本稿では,unrealpersonという,非現実的な画像データをフル活用して,トレーニングとデプロイメントの両面でコストを削減する新しいパイプラインを提案する。 3,000のIDと12万のインスタンスで、MSMT17に直接転送されると38.5%のランク-1の精度が得られる。
  論文  参考訳（メタデータ） (2020-12-08T08:15:30Z)
• Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
  Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。 テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。 本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。