論文の概要: Automated Meta Prompt Engineering for Alignment with the Theory of Mind
- arxiv url: http://arxiv.org/abs/2505.09024v1
- Date: Tue, 13 May 2025 23:42:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.32531
- Title: Automated Meta Prompt Engineering for Alignment with the Theory of Mind
- Title(参考訳): 心の理論によるアライメントのためのメタプロンプト自動工学
- Authors: Aaron Baughman, Rahul Agarwal, Eduardo Morales, Gozde Akay,
- Abstract要約: 本稿では,複雑なタスクに対して,フロートテキストを共同で生成するメタプロンプト手法を提案する。
LLMを審査員(LLMaaJ)として教えるエージェント強化学習の手法が応用される。
ユーザーは、US Open 2024 tennis Grand Slamで発表する前に、AI生成の長い文章を修正します。
米国オープン2024で展開された私たちの仕事は、スポーツやエンターテイメント内の他のライブイベントで使われてきました。
- 参考スコア(独自算出の注目度): 0.12499537119440242
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a method of meta-prompting that jointly produces fluent text for complex tasks while optimizing the similarity of neural states between a human's mental expectation and a Large Language Model's (LLM) neural processing. A technique of agentic reinforcement learning is applied, in which an LLM as a Judge (LLMaaJ) teaches another LLM, through in-context learning, how to produce content by interpreting the intended and unintended generated text traits. To measure human mental beliefs around content production, users modify long form AI-generated text articles before publication at the US Open 2024 tennis Grand Slam. Now, an LLMaaJ can solve the Theory of Mind (ToM) alignment problem by anticipating and including human edits within the creation of text from an LLM. Throughout experimentation and by interpreting the results of a live production system, the expectations of human content reviewers had 100% of alignment with AI 53.8% of the time with an average iteration count of 4.38. The geometric interpretation of content traits such as factualness, novelty, repetitiveness, and relevancy over a Hilbert vector space combines spatial volume (all trait importance) with vertices alignment (individual trait relevance) enabled the LLMaaJ to optimize on Human ToM. This resulted in an increase in content quality by extending the coverage of tennis action. Our work that was deployed at the US Open 2024 has been used across other live events within sports and entertainment.
- Abstract(参考訳): 本稿では,人間の心的期待とLarge Language Model(LLM)ニューラルプロセッシングの類似性を最適化しながら,複雑なタスクのための流動的なテキストを共同で生成するメタプロンプト法を提案する。
LLM as a judge(LLMaaJ)は、文脈内学習を通じて、意図された、意図しないテキスト特性を解釈してコンテンツを生成する方法を通じて、別のLLMに教えるエージェント強化学習の技法を適用する。
コンテンツ制作に関する人間のメンタルな信念を測定するために、ユーザーは、US Open 2024 tennis Grand Slamで発表する前に、長い形のAI生成のテキスト記事を修正する。
現在、LLMaaJ は LLM からのテキスト生成に人間の編集を含めることで、心の理論(ToM)アライメント問題を解決することができる。
実験と実運用システムの結果の解釈を通じて、人間のコンテンツレビュアーの期待はAIの53.8%と100%一致しており、平均的なイテレーション数は4.38である。
ヒルベルトベクトル空間上の事実性、新規性、反復性、関連性などのコンテンツ特性の幾何学的解釈は、空間体積(全ての特徴重要度)と頂点アライメント(個人的特徴関連性)を組み合わせることで、LLMaaJはヒューマンToMを最適化することができた。
これにより、テニス活動のカバレッジを拡大することでコンテンツ品質が向上した。
米国オープン2024で展開された私たちの仕事は、スポーツやエンターテイメント内の他のライブイベントで使われてきました。
関連論文リスト
- Can Large Language Models Grasp Concepts in Visual Content? A Case Study on YouTube Shorts about Depression [0.0]
我々はAIの解釈を抽象概念の人間の理解と比較する。
我々はLLaVA-1.6 Mistral 7Bを用いて、ビデオによる自己開示に関する4つの抽象概念を解釈する。
論文 参考訳(メタデータ) (2025-03-07T03:06:59Z) - Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。
我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。
本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
論文 参考訳(メタデータ) (2025-01-06T18:46:53Z) - Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models [0.0]
人文テキストと大言語モデル(LLM)で生成されたテキストとの有意な差異を同定する。
以上の結果から,人間は認知的要求の少ない文章を書けること,意味的内容の充実,感情的内容の充実などが示唆された。
論文 参考訳(メタデータ) (2024-12-04T04:38:35Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳(メタデータ) (2024-03-11T21:51:39Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
論文 参考訳(メタデータ) (2023-10-25T03:58:49Z) - Neural Authorship Attribution: Stylometric Analysis on Large Language
Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。
誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文 参考訳(メタデータ) (2023-08-14T17:46:52Z) - External Reasoning: Towards Multi-Large-Language-Models Interchangeable
Assistance with Human Feedback [0.0]
本稿では、外部リポジトリからの知識の選択的統合により、LLM(Large Language Models)を拡張できることを提案する。
このアプローチの中心は、複数のLLMインターチェンジ支援に基づくTextbf外部推論のためのタイレッドポリシーの確立である。
結果は、Crefcomparisonにおける最先端のパフォーマンスを示し、ChatPDF.comを含む既存のソリューションを上回った。
論文 参考訳(メタデータ) (2023-07-05T17:05:32Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-08T17:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。