論文の概要: Cross-LLM Consistency in Inference: Evidence from Shared Interactions
- arxiv url: http://arxiv.org/abs/2606.08129v1
- Date: Sat, 06 Jun 2026 12:14:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.861223
- Title: Cross-LLM Consistency in Inference: Evidence from Shared Interactions
- Title(参考訳): 推論におけるクロスLLM整合性:共有相互作用によるエビデンス
- Authors: Siyu Lou, Yao Yan, Yuntian Chen, Quanshi Zhang,
- Abstract要約: 大規模言語モデル(LLM)は、同じプロンプトから同じターゲットトークンを予測する際に、しばしば相互作用パターンを共有する。
これらの結果から,高度なLLMは共通推論パターンに対して暗黙的に最適化される可能性が示唆された。
- 参考スコア(独自算出の注目度): 27.052208132944084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) differ in architecture, training data, and optimization procedures, yet they may still develop similar internal inference patterns. In this paper, we examine this hypothesis using interaction-based explanations. We find that LLMs often share interaction patterns when predicting the same target token from the same prompt. This consistency is more pronounced among advanced LLMs. Shared interactions also tend to be lower-order and show weaker positive-negative cancellation than non-shared interactions. These results suggest that advanced LLMs may be implicitly optimized toward common inference patterns, even though the mechanisms that give rise to such cross-model consistency remain open.
- Abstract(参考訳): 大規模言語モデル(LLM)は、アーキテクチャ、トレーニングデータ、最適化手順が異なるが、それでも同様の内部推論パターンを開発する可能性がある。
本稿では,この仮説を相互作用に基づく説明を用いて検討する。
LLMは、同じプロンプトから同じターゲットトークンを予測する際に、しばしば相互作用パターンを共有する。
この一貫性は、先進的なLSMの間でより顕著である。
共有相互作用は低次であり、非共有相互作用よりも弱い正負のキャンセルを示す傾向がある。
これらの結果から, モデル間の整合性をもたらすメカニズムは依然としてオープンでありながら, 高度なLCMは共通推論パターンに対して暗黙的に最適化される可能性が示唆された。
関連論文リスト
- Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。
LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。
その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文 参考訳(メタデータ) (2026-02-22T06:04:05Z) - Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation [26.91734024759386]
根本原因は本質的な能力不足というよりも,意図的なアライメントギャップにある,と我々は主張する。
本稿では,Mediator-Assistantアーキテクチャによるタスク実行から意図的理解を分離することを提案する。
論文 参考訳(メタデータ) (2026-02-07T03:41:04Z) - MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。
DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。
本稿では,マルチリワード最適化 (MRO) 手法を提案する。
論文 参考訳(メタデータ) (2025-10-24T13:57:59Z) - Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。
彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。
この研究は言語現象とLLMの計算機構を結びつける。
論文 参考訳(メタデータ) (2025-03-17T15:47:37Z) - LLMs and the Madness of Crowds [0.0]
本研究では,大規模言語モデル(LLM)が生成する誤答のパターンを,評価中に解析する。
その結果, 誤応答はランダムに分布せず, モデル間で系統的に相関していることがわかった。
論文 参考訳(メタデータ) (2024-11-03T12:03:12Z) - Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。
LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。
本研究では,LLMにおける内部表現のレンズによる推論について検討する。
論文 参考訳(メタデータ) (2024-05-29T02:44:12Z) - Beyond Instance Discrimination: Relation-aware Contrastive
Self-supervised Learning [75.46664770669949]
本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。
当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
論文 参考訳(メタデータ) (2022-11-02T03:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。