論文の概要: Gaussian mixture models as a proxy for interacting language models

• arxiv url: http://arxiv.org/abs/2506.00077v2
• Date: Tue, 03 Jun 2025 16:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.26969
• Title: Gaussian mixture models as a proxy for interacting language models
• Title（参考訳）: 相互作用言語モデルのためのプロキシとしてのガウス混合モデル
• Authors: Edward L. Wang, Tianyu Wang, Avanti Athreya, Vince Lyzinski, Carey E. Priebe,
• Abstract要約: 対話型ガウス混合モデル(GMM)を,大規模言語モデル(LLM)を用いた類似フレームワークの代替として導入する。 相互作用するGMMは、相互作用するLLMにおいて、動的に重要な特徴を捉えている。
• 参考スコア（独自算出の注目度）: 18.087866676806737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are a powerful tool with the ability to match human capabilities and behavior in many settings. Retrieval-augmented generation (RAG) further allows LLMs to generate diverse output depending on the contents of their RAG database. This motivates their use in the social sciences to study human behavior between individuals when large-scale experiments are infeasible. However, LLMs depend on complex, computationally expensive algorithms. In this paper, we introduce interacting Gaussian mixture models (GMMs) as an alternative to similar frameworks using LLMs. We compare a simplified model of GMMs to select experimental simulations of LLMs whose updating and response depend on feedback from other LLMs. We find that interacting GMMs capture important features of the dynamics in interacting LLMs, and we investigate key similarities and differences between interacting LLMs and GMMs. We conclude by discussing the benefits of Gaussian mixture models, potential modifications, and future research directions.
• Abstract（参考訳）: 大きな言語モデル(LLM)は多くの設定で人間の能力と振舞いにマッチする能力を持つ強力なツールである。 Retrieval-augmented Generation (RAG) により、LLMはRAGデータベースの内容に応じて多様な出力を生成することができる。 これは、大規模な実験が実現不可能な個人間の人間の行動を研究するために、社会科学における彼らの使用を動機付けている。 しかし、LSMは複雑で計算コストのかかるアルゴリズムに依存している。 本稿では,LLMを用いた類似フレームワークの代替として,相互作用型ガウス混合モデル(GMM)を提案する。 我々は、GMMの簡易モデルと、他のLLMからのフィードバックに応じて更新と応答を行うLLMの実験シミュレーションを比較検討した。 相互作用するGMMは、相互作用するLLMの力学の重要な特徴を捉え、相互作用するLLMとGMMの主な類似点と相違点について検討する。 本稿では,ガウス混合モデルの利点,潜在的な修正,今後の研究方向性について論じる。

関連論文リスト

• What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [0.5439020425819]
  ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。 大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。 構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:18:57Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Data Science with LLMs and Interpretable Models [19.4969442162327]
  大きな言語モデル(LLM)は解釈可能なモデルを扱うのに非常に適しています。 LLMはGAM(Generalized Additive Models)を記述、解釈、デバッグできることを示す。
  論文  参考訳（メタデータ） (2024-02-22T12:04:15Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
  大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。 LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。 本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:09Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。