論文の概要: Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

• arxiv url: http://arxiv.org/abs/2309.00359v2
• Date: Fri, 8 Sep 2023 16:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 17:14:25.805459
• Title: Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior
• Title（参考訳）: コンテンツと行動の理解、シミュレート、最適化のための大規模コンテンツと行動モデル
• Authors: Ashmit Khandelwal, Aditya Agrawal, Aanisha Bhattacharyya, Yaman K Singla, Somesh Singh, Uttaran Bhattacharya, Ishita Dasgupta, Stefano Petrangeli, Rajiv Ratn Shah, Changyou Chen, Balaji Krishnamurthy
• Abstract要約: シャノンはコミュニケーションを技術、意味、効力の3つのレベルに分けた。 大きな言語モデル(LLM)は第2の目標に向かって多少前進するが、第3のレベルはまだほとんど触れられていない。 振舞いトークンは、共有、いいね、クリック、購入、リツイートなど、コミュニケーション上の受信者動作を定義します。
• 参考スコア（独自算出の注目度）: 68.18652867878637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of "behavior tokens" in LLMs' training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.
• Abstract（参考訳）: シャノンは情報理論を紹介する論文の中で、コミュニケーションを技術、意味、効力の3つのレベルに分けた。 技術レベルは送信されたシンボルの正確な再構築に関係しているが、意味的および有効性レベルは推測された意味とその受信者への影響を扱う。 通信のおかげで、第一段階の問題はインターネットのような大きな進歩をもたらした。 大きな言語モデル(LLM)は第2の目標に向かって多少前進するが、第3のレベルはまだほとんど触れられていない。 第3の問題は、望ましい受信者の行動に対する通信の予測と最適化である。 LLMは、幅広いタスクにわたって広範な一般化能力を示すが、そのためには解決できない。 パフォーマンスが低かった理由の一つは、llmsのトレーニングコーパスに"behavior tokens"が欠けていることである。 行動トークンは、共有、いいね!、クリック、購入、リツイートなど、コミュニケーション上の受信者の行動を定義する。 LLMトレーニングのための事前処理データに対して、振る舞いトークンはノイズとしてコーパスから取り除かれることが多い。 そこで本稿では,llm訓練における行動トークンの再導入に向けた最初の進歩について述べる。 訓練されたモデルは、コンテンツ理解タスクでllmと同様の性能を示すこと以外は、行動シミュレーション、コンテンツシミュレーション、行動理解、行動ドメイン適応に関する一般化能力を示す。 2つのコーパス上の幅広いタスクを用いて、これらの機能について結果を示す。 これらのモデルをLCBM(Large Content and Behavior Models)と呼ぶ。 さらに,LCBMのさらなる研究を促進するため,コミュニケータ,メッセージ,対応する受信者行動を含むリポジトリであるCBC(Content Behavior Corpus)を新たにリリースした。

関連論文リスト

• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Teaching Human Behavior Improves Content Understanding Abilities Of LLMs [56.574610730939646]
  受信者の振る舞いに関するLLMのトレーニングは、コンテンツ理解能力の向上に役立つ。 この性能は、26のベンチマークデータセット上で46以上のビデオおよび画像理解タスクで向上する。 我々は、複数のプラットフォームから収集された750kの画像やビデオのレシーバ動作のクリーン化コメントやお気に入りを、インストラクションチューニングデータとともにリリースする。
  論文  参考訳（メタデータ） (2024-05-02T02:04:01Z)
• Verco: Learning Coordinated Verbal Communication for Multi-agent Reinforcement Learning [42.27106057372819]
  本稿では,大規模言語モデルをエージェントに組み込むマルチエージェント強化学習アルゴリズムを提案する。 フレームワークにはメッセージモジュールとアクションモジュールがある。 オーバークッキングゲームで行った実験は,既存の手法の学習効率と性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-04-27T05:10:33Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Towards Probing Contact Center Large Language Models [11.018095513653758]
  ドメイン固有命令を用いた微調整型大規模言語モデル (LLM) が, ドメイン固有理解を高める効果的な方法として登場した。 我々は,OB (out-of-the-box) LLM (OB) LLM) を用いたコンタクトセンタ(CC) 固有の微調整LDMの基本的な特性をベンチマークする。 その結果,OCB-LLMよりも応答受容性が48%以上向上し,ドメイン内下流タスクに対するCC-LLMsの顕著な効果が示された。
  論文  参考訳（メタデータ） (2023-12-26T07:34:39Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Prompted Contrast with Masked Motion Modeling: Towards Versatile 3D Action Representation Learning [33.68311764817763]
  本稿では,多目的な3次元動作表現学習のためのMasked Motion Modeling(PCM$rm 3$)を用いたPrompted Contrastを提案する。 提案手法は,比較学習とマスク付き予測タスクを相互に有益な方法で統合する。 3つの大規模データセットに基づく5つの下流タスクのテストを行い、最先端の作業と比較してPCM$rm 3$の優れた一般化能力を実証した。
  論文  参考訳（メタデータ） (2023-08-08T01:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。