論文の概要: AI Mindmeld: A Latent Interconnect Protocol
- arxiv url: http://arxiv.org/abs/2610.30215v1
- Date: Wed, 21 Oct 2026 15:47:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.085492
- Title: AI Mindmeld: A Latent Interconnect Protocol
- Title(参考訳): AI Mindmeld: 遅延インターコネクトプロトコル
- Abstract要約: LLMは専門家を相談し、実験を行うためのツールを使用して科学的エージェントとして機能する。
専門的な情報は通常、テキスト、画像、オーディオ、ビデオとしてコンテキストに入る必要がある。
リッチな高次元表現を持つモデル間の直接表現交換を提唱する。
- 参考スコア(独自算出の注目度): 3.456284865522925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs can act as scientific agents using tools to consult specialists and run experiments. Yet specialist information must enter their context, generally as text, images, audio or video: a bottleneck between models with rich, high-dimensional representations. We advocate direct representation exchange: a mindmeld conveying many properties, including information an LLM would not think to request. It should be extensible to new specialists, flexible across questions and tasks, and compositional across independently connected specialists without joint training. The Latent Interconnect Protocol (LIP) learns connectors mapping specialist representations into LLM internal states. Training only connectors keeps this practical as LLMs grow and evolve. We connect three protein and three small molecule specialists to Gemma 3 (4B and 12B parameters) and Kimi K2.6 (1T total, 32B active), freezing all pretrained models. Independently trained connectors provide useful information without changing the LLM or existing connectors, supporting familiar and new question types about unseen objects. We demonstrate zero-shot transfer to cross-domain tasks without joint training. Task performance and compositionality generally improve with LLM capability, with especially strong gains in zero-shot task transfer. Limitations remain: current LLMs were not trained for specialist representations as native inputs; access does not ensure reliable interpretation, integration or use in reasoning. We call on specialist developers to provide consistent representation interfaces and, especially, on LLM developers to train models to receive, combine and reason with these inputs. These efforts could expand scientific agents' information while preserving conventional tools' flexibility. Data, pretrained connectors, and code for training, evaluation and interactive inference: https://github.com/PolymathicAI/AI-Mindmeld
- Abstract(参考訳): LLMは専門家を相談し、実験を行うためのツールを使用して科学的エージェントとして機能する。
しかし、専門的な情報は通常、テキスト、画像、オーディオ、ビデオとして、リッチで高次元の表現を持つモデル間のボトルネックとしてコンテキストに入る必要がある。
我々は直接表現交換を提唱する: LLMが要求しない情報を含む多くの特性を伝達するマインドメルド。
新しいスペシャリストに拡張可能で、質問やタスクに柔軟で、共同トレーニングなしで独立して接続されたスペシャリスト間で構成可能でなければならない。
Latent Interconnect Protocol (LIP) は、LLMの内部状態に特殊表現をマッピングするコネクタを学習する。
LLMが成長し進化するにつれて、コネクタのみのトレーニングがこれを実践的に維持する。
3つのタンパク質と3つの小さな分子スペシャリストをGemma 3(4Bおよび12Bパラメータ)とKim K2.6(1Tトータル32Bアクティブ)に接続し、全ての事前訓練されたモデルを凍結する。
独立して訓練されたコネクタは、LLMや既存のコネクタを変更することなく有用な情報を提供する。
共同トレーニングなしでクロスドメインタスクへのゼロショット転送を実演する。
タスク性能と構成性は一般的にLLM能力で改善され、特にゼロショットタスク転送では大きな改善がある。
現在のLLMは、ネイティブ入力として専門的な表現のために訓練されていない;アクセスは、推論における信頼性のある解釈、統合、使用を保証していない。
私たちはスペシャリスト開発者に、一貫性のある表現インターフェースを提供し、特にLLM開発者には、これらの入力を受け取り、組み合わせ、推論するモデルをトレーニングするよう呼びかけています。
これらの取り組みは、従来のツールの柔軟性を維持しながら、科学エージェントの情報を拡張する可能性がある。
データ、事前訓練されたコネクタ、トレーニング、評価、インタラクティブ推論のためのコード:https://github.com/PolymathicAI/AI-Mindmeld
関連論文リスト
- Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better [58.559985503802054]
視覚言語アクション(VLA)モデルは、エンド・ツー・エンドの学習とWebスケール視覚言語モデル(VLM)トレーニングからの意味知識の伝達を組み合わせたモデルである。
最も強力なVLMは数十億から数百億のパラメータを持ち、リアルタイム推論の障害となる。
近年のVLAモデルは、アクションエキスパートや連続出力ヘッドのような効率的な連続制御のための特別なモジュールを使用している。
このような専門家を内面的に含むと、トレーニング速度と知識伝達の両方に悪影響を及ぼすことが明らかとなった。
論文 参考訳(メタデータ) (2025-05-29T17:40:09Z) - From Tools to Teammates: Evaluating LLMs in Multi-Session Coding Interactions [9.344348861402928]
MemoryCodeは、無関係な情報の中で単純なコーディング命令を追跡し実行するためのLarge Language Modelsの機能をテストするために設計されたデータセットである。
その結果,LLMの基本的な制限が強調され,長期的相互作用において効果的に協調する能力が制限された。
論文 参考訳(メタデータ) (2025-02-19T14:58:04Z) - Federated In-Context LLM Agent Learning [3.4757641432843487]
大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。
本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。
その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
論文 参考訳(メタデータ) (2024-12-11T03:00:24Z) - Augmenting Multimodal LLMs with Self-Reflective Tokens for Knowledge-based Visual Question Answering [44.008094698200026]
本稿では,外部知識ソースを統合することでMLLMの適応性を高める新しい手法を提案する。
提案するモデルであるReflectiVA(ReflectiVA)では,反射トークンを用いて外部知識の必要性を動的に判定する。
これにより、MLLMは外部知識が不要なタスクにおいて、レイテンシとパフォーマンスを保ちながら、外部知識を管理することができる。
論文 参考訳(メタデータ) (2024-11-25T19:01:03Z) - Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。
我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。
実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
論文 参考訳(メタデータ) (2024-05-10T15:10:20Z) - LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。
LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
論文 参考訳(メタデータ) (2023-12-11T17:39:00Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。