論文の概要: Let's Think Outside the Box: Exploring Leap-of-Thought in Large Language
Models with Creative Humor Generation
- arxiv url: http://arxiv.org/abs/2312.02439v2
- Date: Wed, 6 Dec 2023 03:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 11:51:19.042898
- Title: Let's Think Outside the Box: Exploring Leap-of-Thought in Large Language
Models with Creative Humor Generation
- Title(参考訳): 外部から考える - 創造的なユーモア生成を伴う大規模言語モデルにおける思考の跳躍を探求する
- Authors: Shanshan Zhong, Zhongzhan Huang, Shanghua Gao, Wushao Wen, Liang Lin,
Marinka Zitnik, Pan Zhou
- Abstract要約: Chain-of-Thought(CoT)は、大きな言語モデルをステップバイステップで推論し、その論理的推論能力を動機付ける。
大規模言語モデル(LLM)におけるLeap-of-Thought(LoT)能力について検討する。
LoTは、強い結びつきと知識の飛躍を含む、シークエンシャルで創造的なパラダイムである。
- 参考スコア(独自算出の注目度): 100.87418221354642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-Thought (CoT) guides large language models (LLMs) to reason
step-by-step, and can motivate their logical reasoning ability. While effective
for logical tasks, CoT is not conducive to creative problem-solving which often
requires out-of-box thoughts and is crucial for innovation advancements. In
this paper, we explore the Leap-of-Thought (LoT) abilities within LLMs -- a
non-sequential, creative paradigm involving strong associations and knowledge
leaps. To this end, we study LLMs on the popular Oogiri game which needs
participants to have good creativity and strong associative thinking for
responding unexpectedly and humorously to the given image, text, or both, and
thus is suitable for LoT study. Then to investigate LLMs' LoT ability in the
Oogiri game, we first build a multimodal and multilingual Oogiri-GO dataset
which contains over 130,000 samples from the Oogiri game, and observe the
insufficient LoT ability or failures of most existing LLMs on the Oogiri game.
Accordingly, we introduce a creative Leap-of-Thought (CLoT) paradigm to improve
LLM's LoT ability. CLoT first formulates the Oogiri-GO dataset into
LoT-oriented instruction tuning data to train pretrained LLM for achieving
certain LoT humor generation and discrimination abilities. Then CLoT designs an
explorative self-refinement that encourages the LLM to generate more creative
LoT data via exploring parallels between seemingly unrelated concepts and
selects high-quality data to train itself for self-refinement. CLoT not only
excels in humor generation in the Oogiri game but also boosts creative
abilities in various tasks like cloud guessing game and divergent association
task. These findings advance our understanding and offer a pathway to improve
LLMs' creative capacities for innovative applications across domains. The
dataset, code, and models will be released online.
https://zhongshsh.github.io/CLoT/.
- Abstract(参考訳): Chain-of-Thought (CoT)は、大きな言語モデル(LLM)をステップバイステップで推論し、その論理的推論能力を動機付ける。
論理的なタスクには効果的ですが、CoTは創造的な問題解決には向いていません。
本稿では,LLMにおけるLeap-of-Thought(LoT)能力について考察する。
この目的のために, 参加者に優れた創造性と強い連想的思考を持たせ, 与えられた画像, テキスト, あるいはその両方に予期せぬ, ユーモラスに反応させることで, かつ, LoT 研究に適したゲームである Oogiri ゲーム上での LLM について検討する。
次に,Oogiri ゲームにおける LLM の LoT 能力を調べるために,Oogiri ゲームからの 1130,000 以上のサンプルを含むマルチモーダルかつ多言語な Oogiri-GO データセットを構築し,Oogiri ゲームにおける既存の LLM の LoT 能力や失敗を観察する。
そこで我々は,LLMのLoT能力を改善するために,クリエイティブなLeap-of-Thought(CLoT)パラダイムを導入する。
CLoTは、まず、Oogiri-GOデータセットをLoT指向のインストラクションチューニングデータに定式化し、特定のLoTユーモアの生成と識別能力を達成するために、事前訓練されたLLMを訓練する。
そして、CLoTは爆発的な自己リファインメントを設計し、LLMは、一見無関係な概念間の並列を探索することで、より創造的なLoTデータを生成することを奨励し、自己リファインメントのために自分自身を訓練するために高品質なデータを選択する。
CLoTは、Oogiriゲームにおけるユーモア生成に優れるだけでなく、クラウド推測ゲームやダイバージェントアソシエーションタスクなど、さまざまなタスクにおける創造能力を高める。
これらの知見は我々の理解を深め、ドメインをまたがる革新的なアプリケーションに対するllmsの創造的能力を改善するための経路を提供する。
データセット、コード、モデルはオンラインでリリースされる。
https://zhongshsh.github.io/CLoT/。
関連論文リスト
- Enhance Reasoning for Large Language Models in the Game Werewolf [16.519695701346155]
本稿では,Large Language Models(LLM)を外部のThinkerモジュールと統合する革新的なフレームワークを提案する。
本フレームワークは,マルチシステム推論を必要とする9人プレイヤのWerewolfゲームを用いて提案する。
実験では, 帰納的推論, 音声生成, オンラインゲーム評価におけるフレームワークの有効性を示す。
論文 参考訳(メタデータ) (2024-02-04T03:47:10Z) - LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.846229981051597]
計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。
自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。
本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
論文 参考訳(メタデータ) (2024-02-02T14:43:18Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Avalon's Game of Thoughts: Battle Against Deception through Recursive
Contemplation [80.126717170151]
本研究では,複雑なアバロンゲームを用いて,認知環境におけるLSMの可能性を探究する。
本稿では,LLMの偽情報識別・対策能力を高めるための新しいフレームワークRecursive Contemplation(ReCon)を提案する。
論文 参考訳(メタデータ) (2023-10-02T16:27:36Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z) - A Survey on Multimodal Large Language Models [56.754753799607585]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために、脳として強力な大規模言語モデルを使用する。
MLLMの驚くべき創発的能力、例えば画像に基づくストーリーの作成やOCRのない数学推論は、伝統的な手法ではまれである。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - A Mathematical Abstraction for Balancing the Trade-off Between
Creativity and Reality in Large Language Models [35.25919932657958]
大規模な言語モデルは、散文、詩、芸術などの領域でますます使われている。
この研究は、ある種の損失に基づいて創造性と現実を記述する数学的抽象化を提供する。
これらの損失に基づいてトレーニングされたモデルは、モデルの創造性と現実との間のトレードオフをバランスさせる。
論文 参考訳(メタデータ) (2023-06-04T08:12:34Z) - SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。
実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。
我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-05-24T18:14:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。