論文の概要: Collaborative QA using Interacting LLMs. Impact of Network Structure, Node Capability and Distributed Data
- arxiv url: http://arxiv.org/abs/2511.14098v1
- Date: Tue, 18 Nov 2025 03:32:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.9095
- Title: Collaborative QA using Interacting LLMs. Impact of Network Structure, Node Capability and Distributed Data
- Title（参考訳）: 干渉LDMを用いた協調QA : ネットワーク構造,ノード能力,分散データの影響
- Authors: Adit Jain, Vikram Krishnamurthy, Yiming Zhang,
- Abstract要約: 本研究では,LLMのネットワークが協調質問応答 (CQA) をどのように行うかを分析し,分散文書の集合から基礎的真理を推定する。
ネットワーク科学から平均場力学(MFD)の新たなアイデアと経済学からランダム化されたユーティリティモデルを組み合わせることで,LLMの相互作用とその幻覚について検討する。
- 参考スコア（独自算出の注目度）: 13.87098169839313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we model and analyze how a network of interacting LLMs performs collaborative question-answering (CQA) in order to estimate a ground truth given a distributed set of documents. This problem is interesting because LLMs often hallucinate when direct evidence to answer a question is lacking, and these effects become more pronounced in a network of interacting LLMs. The hallucination spreads, causing previously accurate LLMs to hallucinate. We study interacting LLMs and their hallucination by combining novel ideas of mean-field dynamics (MFD) from network science and the randomized utility model from economics to construct a useful generative model. We model the LLM with a latent state that indicates if it is truthful or not with respect to the ground truth, and extend a tractable analytical model considering an MFD to model the diffusion of information in a directed network of LLMs. To specify the probabilities that govern the dynamics of the MFD, we propose a randomized utility model. For a network of LLMs, where each LLM has two possible latent states, we posit sufficient conditions for the existence and uniqueness of a fixed point and analyze the behavior of the fixed point in terms of the incentive (e.g., test-time compute) given to individual LLMs. We experimentally study and analyze the behavior of a network of $100$ open-source LLMs with respect to data heterogeneity, node capability, network structure, and sensitivity to framing on multiple semi-synthetic datasets.
- Abstract（参考訳）: 本稿では,LLMの相互作用するネットワークが協調質問応答(CQA)をどのように行うかのモデル化と解析を行い,分散文書の集合から基礎的真理を推定する。
LLMは、疑問に答える直接的な証拠が欠如しているときに幻覚を起こし、これらの効果は相互作用するLLMのネットワークにおいてより顕著になるため、この問題は興味深い。
幻覚は広がり、以前は正確なLDMが幻覚を引き起こす。
本研究では,ネットワーク科学における平均場力学(MFD)の新たなアイデアと経済学からのランダム化ユーティリティモデルを組み合わせることで,LLMの相互作用とその幻覚について検討する。
我々は,LLMが真理であるか否かを示す潜在状態のLLMをモデル化し,MFDを考慮した抽出可能な解析モデルを拡張して,LLMの有向ネットワークにおける情報の拡散をモデル化する。
MFDの力学を規定する確率を特定するために,ランダム化されたユーティリティモデルを提案する。
各LLMが2つの潜在状態を持つLLMのネットワークに対して、固定点の存在と特異性に関する十分な条件を仮定し、各LLMに与えられるインセンティブ(例えば、テスト時間計算)の観点から、固定点の挙動を解析する。
データの不均一性、ノード能力、ネットワーク構造、および複数の半合成データセット上でのフレーミングに対する感受性について、100ドルのオープンソースLCMのネットワークの挙動を実験的に研究・解析した。
関連論文リスト
- LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs [63.580867975515474]
拡散LDMと従来の自己回帰LDMの長文性能を比較検討する。
LLaDAとNTKベースのRoPE外挿法を統合したLongLLaDAを提案する。
論文 参考訳（メタデータ） (2025-06-17T11:45:37Z) - When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。
実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
論文 参考訳（メタデータ） (2025-05-22T05:10:34Z) - A Modular Dataset to Demonstrate LLM Abstraction Capability [3.0899016152680754]
大きな言語モデル(LLM)は印象的な能力を示すが、幻覚や論理の欠陥による推論エラーに苦慮している。
ArrangementPuzzleは、構造化されたソリューションと段階的正当性の自動検証を備えた、新しいパズルデータセットである。
このデータセット上で, LLMアクティベーションに関する分類器モデルを訓練した結果, 推論精度の予測において80%以上の精度が得られた。
論文 参考訳（メタデータ） (2025-03-22T04:25:30Z) - Engagement-Driven Content Generation with Large Language Models [8.049552839071918]
大規模言語モデル(LLM)は1対1の相互作用において重要な説得力を示す。
相互接続されたユーザーと複雑な意見のダイナミクスがユニークな課題を引き起こすソーシャルネットワークにおける彼らの影響力は、いまだ過小評価されている。
本稿では,emphCan LLMがソーシャルネットワーク上でユーザエンゲージメントを最大化する有意義なコンテンツを生成するかという研究課題に対処する。
論文 参考訳（メタデータ） (2024-11-20T10:40:08Z) - LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。
我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。
このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
論文 参考訳（メタデータ） (2024-10-28T20:42:46Z) - Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。
本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
論文 参考訳（メタデータ） (2024-04-19T08:52:22Z) - Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳（メタデータ） (2024-03-08T05:59:56Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳（メタデータ） (2024-01-30T17:38:54Z) - Characterizing Large Language Model Geometry Helps Solve Toxicity Detection and Generation [15.77263269398368]
大規模言語モデル(LLM)は、現在のAIのブレークスルーを促進する。
我々は幾何学のレンズを通してLLMの内部機構に光を当てた。
我々は,任意の(事前学習された)LLMから抽出できる解釈可能な幾何学的特徴を導出する。
論文 参考訳（メタデータ） (2023-12-04T06:01:32Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。