論文の概要: A Mathematical Abstraction for Balancing the Trade-off Between Creativity and Reality in Large Language Models

• arxiv url: http://arxiv.org/abs/2306.02295v1
• Date: Sun, 4 Jun 2023 08:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 18:48:21.480663
• Title: A Mathematical Abstraction for Balancing the Trade-off Between Creativity and Reality in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける創造性と現実性のトレードオフの数学的抽象化
• Authors: Ritwik Sinha, Zhao Song, Tianyi Zhou
• Abstract要約: 大規模な言語モデルは、散文、詩、芸術などの領域でますます使われている。 この研究は、ある種の損失に基づいて創造性と現実を記述する数学的抽象化を提供する。 これらの損失に基づいてトレーニングされたモデルは、モデルの創造性と現実との間のトレードオフをバランスさせる。
• 参考スコア（独自算出の注目度）: 35.25919932657958
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models have become popular for their remarkable capabilities in human-oriented tasks and traditional natural language processing tasks. Its efficient functioning is attributed to the attention mechanism in the Transformer architecture, enabling it to concentrate on particular aspects of the input. LLMs are increasingly being used in domains such as generating prose, poetry or art, which require the model to be creative (e.g. Adobe firefly). LLMs possess advanced language generation abilities that enable them to generate distinctive and captivating content. This utilization of LLMs in generating narratives shows their flexibility and potential for use in domains that extend beyond conventional natural language processing duties. In different contexts, we may expect the LLM to generate factually correct answers, that match reality; e.g., question-answering systems or online assistants. In such situations, being correct is critical to LLMs being trusted in practice. The Bing Chatbot provides its users with the flexibility to select one of the three output modes: creative, balanced, and precise. Each mode emphasizes creativity and factual accuracy differently. In this work, we provide a mathematical abstraction to describe creativity and reality based on certain losses. A model trained on these losses balances the trade-off between the creativity and reality of the model.
• Abstract（参考訳）: 大規模言語モデルは、人間指向のタスクや従来の自然言語処理タスクにおいて顕著な能力で人気を博している。 その効率的な機能化は、トランスフォーマーアーキテクチャの注意のメカニズムに起因しており、入力の特定の側面に集中することができる。 LLMは、散文、詩、芸術など、創造的なモデルを必要とする分野(例えばAdobe Firefly)でますます使われている。 LLMには先進的な言語生成能力があり、特徴的で捕食的なコンテンツを生成できる。 物語生成におけるLCMの利用は、従来の自然言語処理以上の領域での利用の柔軟性と可能性を示している。 異なる状況下では、llmは現実と一致する事実正しい回答を生成するだろう、例えば、質問応答システムやオンラインアシスタントなど。 このような状況では、llmが実際に信頼されるためには正しいことが重要です。 Bing Chatbotは、3つのアウトプットモードのうちの1つ(創造性、バランス、正確性)を選択する柔軟性を提供する。 それぞれのモードはクリエイティビティと事実の精度が異なる。 本研究では, ある損失に基づいて創造性と現実を記述する数学的抽象化を提供する。 これらの損失に基づいてトレーニングされたモデルは、モデルの創造性と現実の間のトレードオフをバランスさせる。

関連論文リスト

• Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models [9.487731634351787]
  大規模トランスフォーマーネットワークは、自然言語処理アルゴリズムの進歩において、急速に主要なアプローチとなっている。 本稿では,大規模言語モデル(LLM)の理論的基礎について考察する。 理論的な背景を提供し、これらの進歩を支えるメカニズムに光を当てている。
  論文  参考訳（メタデータ） (2024-07-01T04:29:35Z)
• Creativity Has Left the Chat: The Price of Debiasing Language Models [1.223779595809275]
  大規模言語モデル(LLM)の創造性に対する人間からのフィードバックからの強化学習の意図しない結果について検討する。 我々の発見は、コピーライティング、広告作成、顧客ペルソナ生成といったクリエイティブなタスクにLLMを頼っているマーケターにとって大きな意味を持つ。
  論文  参考訳（メタデータ） (2024-06-08T22:14:51Z)
• Characterising the Creative Process in Humans and Large Language Models [6.363158395541767]
  本研究では,人間とLLMが交互利用課題における意味空間を探索する方法を自動評価する手法を提案する。 文埋め込みを用いて応答カテゴリを識別し、ジャンププロファイルを生成するために使用する意味的類似性を計算する。 我々の結果は、人間における初期の研究と、永続性(意味空間の深部探索)と柔軟性(複数の意味空間を横断する広部探索)の両方を創造性に反映している。 人口としてのLSMは人間のプロファイルと一致するが、創造性との関係は異なる。
  論文  参考訳（メタデータ） (2024-05-01T23:06:46Z)
• Finetuning an LLM on Contextual Knowledge of Classics for Q&A [0.0]
  このプロジェクトは、クラシックの知識と人工知能の能力を統合する試みである。 本研究の目的は,文脈知識を正確に再現するだけでなく,一貫した「個性」を示すLLMを開発することである。
  論文  参考訳（メタデータ） (2023-12-13T02:32:01Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• User-Controlled Knowledge Fusion in Large Language Models: Balancing Creativity and Hallucination [5.046007553593371]
  大規模言語モデル(LLM)は多様な、関連性があり、創造的な応答を生成する。 LLMの想像力と事実情報への固執のバランスを取ることは重要な課題である。 本稿では,LLMの想像能力と現実情報への忠実さのバランスを調節する,革新的なユーザ制御機構を提案する。
  論文  参考訳（メタデータ） (2023-07-30T06:06:35Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Inner Monologue: Embodied Reasoning through Planning with Language Models [81.07216635735571]
  大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
  論文  参考訳（メタデータ） (2022-07-12T15:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。