論文の概要: Small But Funny: A Feedback-Driven Approach to Humor Distillation

• arxiv url: http://arxiv.org/abs/2402.18113v1
• Date: Wed, 28 Feb 2024 07:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 16:06:50.475065
• Title: Small But Funny: A Feedback-Driven Approach to Humor Distillation
• Title（参考訳）: 小さいが面白い:ユーモア蒸留へのフィードバック駆動アプローチ
• Authors: Sahithya Ravi, Patrick Huber, Akshat Shrivastava, Aditya Sagar, Ahmed Aly, Vered Shwartz, Arash Einolghozati
• Abstract要約: 本研究では,2つの役割を大規模言語モデル(LLM)に割り当てる効果を「教師」生成データとして,学生のパフォーマンスを評価する「批判的」として検討する。 ユーモア生成実験により, フィードバックの組み込みにより, SLMとそれより大きいSLMの性能ギャップが著しく狭まることが明らかとなった。
• 参考スコア（独自算出の注目度）: 19.498647865012426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of Large Language Models (LLMs) has brought to light promising language generation capabilities, particularly in performing tasks like complex reasoning and creative writing. Consequently, distillation through imitation of teacher responses has emerged as a popular technique to transfer knowledge from LLMs to more accessible, Small Language Models (SLMs). While this works well for simpler tasks, there is a substantial performance gap on tasks requiring intricate language comprehension and creativity, such as humor generation. We hypothesize that this gap may stem from the fact that creative tasks might be hard to learn by imitation alone and explore whether an approach, involving supplementary guidance from the teacher, could yield higher performance. To address this, we study the effect of assigning a dual role to the LLM - as a "teacher" generating data, as well as a "critic" evaluating the student's performance. Our experiments on humor generation reveal that the incorporation of feedback significantly narrows the performance gap between SLMs and their larger counterparts compared to merely relying on imitation. As a result, our research highlights the potential of using feedback as an additional dimension to data when transferring complex language abilities via distillation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、特に複雑な推論や創造的な記述のようなタスクの実行において、明るい将来性のある言語生成能力をもたらした。 その結果,LLMからSmall Language Models(SLM)へ知識を伝達する一般的な手法として,教師の反応の模倣による蒸留が出現した。 これは単純なタスクではうまく機能するが、ユーモア生成のような複雑な言語理解と創造性を必要とするタスクには、実質的なパフォーマンスギャップがある。 このギャップは、創造的なタスクが模倣だけでは学べないかもしれないという事実に起因し、教師の補助的な指導を含むアプローチがより高いパフォーマンスをもたらすかどうかを考察する。 そこで本研究では,LLMに2つの役割を付与する効果を「教師」が生成するデータとして,また,学生のパフォーマンスを評価する「批判的」として検討する。 ユーモア生成実験の結果,フィードバックを組み込むことで,単に模倣に頼ることに比べ,slmとより大きな競合製品のパフォーマンスギャップが著しく狭くなることが明らかとなった。 その結果, 蒸留による複雑な言語能力の伝達において, フィードバックをデータに付加的な次元として用いる可能性を強調した。

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation [15.718288693929019]
  大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成する。 LLMがヒトアノテーターの代用として使用できるかどうかを検討した。 LLMはシステムレベルの評価において,現在の自動測定値よりも優れていますが,十分な説明が得られていないことが分かりました。
  論文  参考訳（メタデータ） (2024-05-22T15:56:52Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses [23.053791342294268]
  LLMによって生成された応答で大きな言語モデル(LLM)を微調整すると、特に推論タスクにおいて、人間によって生成された応答を使用するよりも良い結果が得られることが多い。 LLM生成応答によるトレーニングは、パフォーマンスの向上だけでなく、特定のタスクを微調整した後の他の推論タスクにおけるモデルの能力維持にも役立ちます。
  論文  参考訳（メタデータ） (2024-02-17T05:05:31Z)
• TinyLLM: Learning a Small Student from Multiple Large Language Models [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Computational Language Acquisition with Theory of Mind [84.2267302901888]
  我々は、心の理論(ToM)を備えた言語学習エージェントを構築し、その学習過程への影響を測定する。 重み付けされたToMリスナーコンポーネントを用いた学習話者は,画像参照ゲームの設定において,性能向上につながることがわかった。
  論文  参考訳（メタデータ） (2023-03-02T18:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。