論文の概要: Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT

• arxiv url: http://arxiv.org/abs/2210.04186v1
• Date: Sun, 9 Oct 2022 06:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 14:30:12.454368
• Title: Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT
• Title（参考訳）: 大規模言語モデルによるアナロジー生成:インストラクションGPTを事例として
• Authors: Bhavya Bhavya, Jinjun Xiong, Chengxiang Zhai
• Abstract要約: 本稿では,アナログ生成のための事前学習言語モデル(PLM)を提案する。 我々は,インストラクションGPTに意味のあるアナロジーを生成させることが可能であり,最も優れたプロンプトは正確な命令文である傾向があることを発見した。 また、生成したアナログの1.4kに対して人的評価を行い、世代ごとの質がモデルサイズによって大きく異なることを示した。
• 参考スコア（独自算出の注目度）: 47.81902362511172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel application of prompting Pre-trained Language Models (PLMs) to generate analogies and study how to design effective prompts for two task settings: generating a source concept analogous to a given target concept (aka Analogous Concept Generation or ACG), and generating an explanation of the similarity between a given pair of target concept and source concept (aka Analogous Explanation Generation or AEG). We found that it is feasible to prompt InstructGPT to generate meaningful analogies and the best prompts tend to be precise imperative statements especially with a low temperature setting. We also systematically analyzed the sensitivity of the InstructGPT model to prompt design, temperature, and injected spelling errors, and found that the model is particularly sensitive to certain variations (e.g., questions vs. imperative statements). Further, we conducted human evaluation on 1.4k of the generated analogies and found that the quality of generations varies substantially by model size. The largest InstructGPT model can achieve human-level performance at generating meaningful analogies for a given target while there is still room for improvement on the AEG task.
• Abstract（参考訳）: 本稿では,先行学習言語モデル(PLM)に類似語の生成を促し,与えられた対象概念(アナログ概念生成またはACG)に類似したソース概念を生成し,対象概念と対象概念(アナログ説明生成またはAEG)の類似性を説明するという,2つのタスク設定に対して効果的なプロンプトを設計する手法を提案する。 InstructGPTに意味のあるアナロジーを生成させることは可能であり、特に低温条件下では最良のプロンプトが正確な命令文となる傾向がある。 また,instructgptモデルの感度を系統的に解析し,設計,温度,スペルミスの注入を迅速化することで,モデルが特定のバリエーション(質問対命令文など)に特に敏感であることを見出した。 さらに, 生成したアナログの1.4kに対して人間による評価を行い, 世代ごとの質はモデルサイズによって大きく異なることがわかった。 最大のインストラクトGPTモデルは、AIGタスクの改善の余地がまだ残っている間、与えられた目標に対して意味のあるアナログを生成することで人間レベルの性能を達成することができる。

関連論文リスト

• Exploring Prompt-Based Methods for Zero-Shot Hypernym Prediction with Large Language Models [0.0]
  本稿では,大言語モデル(LLM)を用いたハイパーネミー予測に対するゼロショットアプローチについて検討する。 実験は、言語モデルプロンプトの有効性と古典パターンとの強い相関を示す。 また,コハイポニム予測のプロンプトや,追加情報によるプロンプトの増強によるハイポニミー予測の改善についても検討する。
  論文  参考訳（メタデータ） (2024-01-09T12:13:55Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Hybrid Autoregressive Transducer (hat) [11.70833387055716]
  本稿では,ハイブリッド自己回帰トランスデューサ(HAT)モデルの提案と評価を行う。 従来の音声認識システムのモジュラリティを保った時間同期エンコーダデコーダモデルである。 提案手法を大規模音声検索タスクで評価する。
  論文  参考訳（メタデータ） (2020-03-12T20:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。