論文の概要: Gaussian mixture models as a proxy for interacting language models
- arxiv url: http://arxiv.org/abs/2506.00077v3
- Date: Tue, 15 Jul 2025 15:17:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 15:29:04.670537
- Title: Gaussian mixture models as a proxy for interacting language models
- Title（参考訳）: 相互作用言語モデルのためのプロキシとしてのガウス混合モデル
- Authors: Edward L. Wang, Tianyu Wang, Hayden Helm, Avanti Athreya, Vince Lyzinski, Carey E. Priebe,
- Abstract要約: 対話型ガウス混合モデル(GMM)を,大規模言語モデル(LLM)を用いた類似フレームワークの代替として導入する。
相互作用するGMMは、相互作用するLLMにおいて、動的に重要な特徴を捉えている。
- 参考スコア（独自算出の注目度）: 17.070211970099514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are a powerful tool with the ability to match human capabilities and behavior in many settings. Retrieval-augmented generation (RAG) further allows LLMs to generate diverse output depending on the contents of their RAG database. This motivates their use in the social sciences to study human behavior between individuals when large-scale experiments are infeasible. However, LLMs depend on complex, computationally expensive algorithms. In this paper, we introduce interacting Gaussian mixture models (GMMs) as an alternative to similar frameworks using LLMs. We compare a simplified model of GMMs to select experimental simulations of LLMs whose updating and response depend on feedback from other LLMs. We find that interacting GMMs capture important features of the dynamics in interacting LLMs, and we investigate key similarities and differences between interacting LLMs and GMMs. We conclude by discussing the benefits of Gaussian mixture models, potential modifications, and future research directions.
- Abstract（参考訳）: 大きな言語モデル(LLM)は多くの設定で人間の能力と振舞いにマッチする能力を持つ強力なツールである。
Retrieval-augmented Generation (RAG) により、LLMはRAGデータベースの内容に応じて多様な出力を生成することができる。
これは、大規模な実験が実現不可能な個人間の人間の行動を研究するために、社会科学における彼らの使用を動機付けている。
しかし、LSMは複雑で計算コストのかかるアルゴリズムに依存している。
本稿では,LLMを用いた類似フレームワークの代替として,相互作用型ガウス混合モデル(GMM)を提案する。
我々は、GMMの簡易モデルと、他のLLMからのフィードバックに応じて更新と応答を行うLLMの実験シミュレーションを比較検討した。
相互作用するGMMは、相互作用するLLMの力学の重要な特徴を捉え、相互作用するLLMとGMMの主な類似点と相違点について検討する。
本稿では,ガウス混合モデルの利点,潜在的な修正,今後の研究方向性について論じる。
関連論文リスト
- What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [0.5439020425819]
ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。
大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。
構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
論文 参考訳（メタデータ） (2025-05-27T05:18:57Z) - ConSCompF: Consistency-focused Similarity Comparison Framework for Generative Large Language Models [19.479612569318412]
生成型大規模言語モデルのための一貫性に着目した類似性比較フレームワーク(ConSCompF)を提案する。
2つのLCMによって生成されたテキストを比較し、類似度スコアを生成し、それらのレスポンス間の全体的な類似度を示す。
論文 参考訳（メタデータ） (2025-03-18T05:38:04Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。
本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
論文 参考訳（メタデータ） (2024-04-19T08:52:22Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Data Science with LLMs and Interpretable Models [19.4969442162327]
大きな言語モデル(LLM)は解釈可能なモデルを扱うのに非常に適しています。
LLMはGAM(Generalized Additive Models)を記述、解釈、デバッグできることを示す。
論文 参考訳（メタデータ） (2024-02-22T12:04:15Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳（メタデータ） (2023-06-22T07:57:19Z) - Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。
LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。
本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
論文 参考訳（メタデータ） (2023-06-06T11:49:09Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳（メタデータ） (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。