論文の概要: The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models

• arxiv url: http://arxiv.org/abs/2605.11167v1
• Date: Mon, 11 May 2026 19:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.383467
• Title: The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
• Title（参考訳）: バイカメラルモデル:並列言語モデル間の双方向隠れ状態結合
• Authors: Cedric Flamant, Udaya Ghai, Kanna Shimizu,
• Abstract要約: Bicameral Modelは、中間の隠れ状態にあるトレーニング可能なニューラルネットワークを通じて、2つの凍結した言語モデルを結合する。 算術では、2つの0.5Bモデルと電卓を結合すると精度が36%から96%に向上する。 論理グリッドパズルでは、2つの0.6BモデルとZ3ソルバを結合すると、ZebraLogicの未発表のベースラインが$1.7timesとなる。
• 参考スコア（独自算出の注目度）: 5.75697425024974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multi-model and tool-augmented systems communicate by generating text, serializing every exchange through the output vocabulary. Can two pretrained language models instead coordinate through a continuous, concurrent channel? The Bicameral Model couples two frozen language models through a trainable neural interface on their intermediate hidden states. At every generation step, both models run in lockstep: a primary model drives the task while an auxiliary model operates tools, solves constraints, or executes code, with both conditioning on each other's activations through a translation network and a learned suppression gate ($\sim$1\% of combined parameters). The gate learns a selective communication protocol from task loss alone, without a prescribed format. We demonstrate the mechanism across three tool backends. On arithmetic, coupling two 0.5B models with a calculator raises accuracy from 36\% to 96\%. On logic grid puzzles, coupling two 0.6B models with a Z3 solver achieves $1.7\times$ the unaugmented baseline on ZebraLogic. On mathematical reasoning, coupling with a Python sandbox enables the auxiliary to generate problem-specific code from hidden-state signals alone, without ever seeing the problem text.
• Abstract（参考訳）: 既存のマルチモデルとツール拡張システムは、テキストを生成し、出力語彙を通じてすべての交換をシリアライズすることで通信する。 2つの事前訓練された言語モデルは、連続した並行チャネルを介して調整できるのか? Bicameral Modelは、中間の隠れ状態にあるトレーニング可能なニューラルネットワークを通じて、2つの凍結した言語モデルを結合する。 プライマリモデルはタスクを駆動し、補助モデルはツールを操作したり、制約を解決したり、コードを実行する。 ゲートは、所定のフォーマットなしで、タスク損失のみから選択的な通信プロトコルを学習する。 3つのツールバックエンドでそのメカニズムをデモします。 算術では、2つの0.5Bモデルと電卓を結合すると精度が36\%から96\%になる。 論理グリッドパズルでは、2つの0.6BモデルとZ3ソルバを結合すると、ZebraLogicの未発表のベースライン$1.7\timesが達成される。 数学的推論において、Pythonサンドボックスとの結合により、補助者は問題テキストを見ることなく、隠れ状態の信号だけで問題固有のコードを生成することができる。

関連論文リスト

• Coupling Models for One-Step Discrete Generation [50.37847093567075]
  カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。 単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。 LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
  論文  参考訳（メタデータ） (2026-05-08T03:40:39Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Streaming Bilingual End-to-End ASR model using Attention over Multiple Softmax [6.386371634323785]
  本稿では,両言語を単一のニューラルモデルで認識可能な,バイリンガル・エンド・ツー・エンド(E2E)モデリング手法を提案する。 提案モデルでは,自己認識機構によって結合された言語固有のジョイントネットワークを用いて,エンコーダと予測ネットワークを共有する。
  論文  参考訳（メタデータ） (2024-01-22T01:44:42Z)
• Artificial Interrogation for Attributing Language Models [0.0]
  この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。 コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。 両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
  論文  参考訳（メタデータ） (2022-11-20T05:46:29Z)
• Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1070559563592]
  我々は,Corver,Correlated Video-Language Pre-Torning法を紹介する。 クロスモーダルな特徴アライメントと融合を、新しい3モーダルアライメント事前訓練タスクを通じて改善する。 Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-07-16T09:38:52Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Switch Point biased Self-Training: Re-purposing Pretrained Models for Code-Switching [44.034300203700234]
  コードスイッチングは、多言語コミュニティにおけるコミュニケーションの容易さから、ユビキタスな現象である。 スイッチポイントバイアスを用いて既存の事前学習モデルを再利用するための自己学習手法を提案する。 本手法は,スイッチポイント性能のギャップを小さくすることで,両タスクにおいて良好に機能する。
  論文  参考訳（メタデータ） (2021-11-01T19:42:08Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。