論文の概要: Dyad: Extending Large Language Models with Native Typed Decision-Making

• arxiv url: http://arxiv.org/abs/2609.36116v1
• Date: Mon, 28 Sep 2026 18:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.958734
• Title: Dyad: Extending Large Language Models with Native Typed Decision-Making
• Title（参考訳）: Dyad: ネイティブな型決定処理による大規模言語モデルの拡張
• Abstract要約: Dyadは、環境条件のアクションエンコーダで事前訓練された大きな言語モデルを拡張するアーキテクチャである。 意思決定を進化する相互作用状態と環境固有のアクションセマンティクスの表現に分解することで、ダイアドは再利用可能な表現を学習するための帰納的バイアスを導入する。
• 参考スコア（独自算出の注目度）: 25.71140226156677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how to build more capable general-purpose agents by extending large language models (LLMs) with native typed decision-making. We introduce Dyad, an architecture that augments a pretrained LLM with an environment-conditioned action encoder that embeds each candidate action description in parallel, then scores these embeddings against the LLM's internal state to yield a distribution over typed actions. By factorizing decision-making into representations of the evolving interaction state and environment-specific action semantics, Dyad introduces an inductive bias for learning reusable representations while keeping action scoring efficient even as the action space grows. We investigate two complementary reinforcement learning settings driven by environment interaction. With the LLM frozen, training the action encoder alone achieves consistent gains across four unseen environments, enabling modular adaptation without modifying any LLM parameters. Jointly optimizing both components outperforms conventional RL post-training across diverse interactive tasks and model scales, including a 3.80% average absolute gain on ALFWorld with a 9B model, while improving general knowledge, reasoning, and coding.
• Abstract（参考訳）: 大規模言語モデル(LLM)をネイティブな型付き意思決定で拡張することにより、より有能な汎用エージェントを構築する方法について検討する。 環境条件付きアクションエンコーダを並列に埋め込んだ環境条件付きアクションエンコーダで事前学習したLCMを拡張したアーキテクチャDyadを導入し、これらの埋め込みをLCMの内部状態に対してスコアし、型付けされたアクションの分布を生成する。 意思決定を進化する相互作用状態と環境固有のアクションセマンティクスの表現に分解することで、ダイアドは、アクション空間が成長してもアクションスコアを効率よく保ちながら、再利用可能な表現を学習するための帰納的バイアスを導入する。 環境相互作用によって駆動される2つの補完的強化学習環境について検討する。 LLMの凍結により、アクションエンコーダのトレーニングは4つの未知の環境をまたいで一貫したゲインを達成し、LCMパラメータを変更することなくモジュラ適応を可能にする。 両方のコンポーネントを共同最適化することで、さまざまな対話的タスクやモデルスケールにわたる従来のRLポストトレーニングよりもパフォーマンスが向上し、ALFWorldでは9Bモデルで平均3.80%の絶対ゲインが達成され、一般知識、推論、コーディングが改善された。

関連論文リスト

• Learning POMDP World Models from Observations with Language-Model Priors [52.11151769796862]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。 先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。 我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:18:15Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• Enhancing Linguistic Generalization of VLA: Fine-Tuning OpenVLA via Synthetic Instruction Augmentation [0.0]
  ロボットは多様な環境に適応しなければならないため、一般化はAIの具体化における中核的な課題である。 本稿では,OpenVLAの言語一般化を促進するためのパラメータ効率の良い微調整戦略を提案する。
  論文  参考訳（メタデータ） (2026-03-17T01:04:15Z)
• Reinforcement World Model Learning for LLM-based Agents [60.65003139516272]
  強化世界モデル学習(Reinforcement World Model Learning, RWML)は、LDMをベースとしたエージェントのための行動教師付き世界モデルを学ぶ自己条件付き手法である。 本手法は, モデルが生成したシミュレーションされた次の状態と, 環境から観測された次の状態とを一致させる。 本手法をALFWorldと2ドルのBenchで評価し,完全に自己管理されているにもかかわらず,ベースモデルに対する大幅な利得を観測した。
  論文  参考訳（メタデータ） (2026-02-05T16:30:08Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• OmniBridge: Unified Multimodal Understanding, Generation, and Retrieval via Latent Space Alignment [79.98946571424607]
  我々は,統一アーキテクチャ内での視覚言語理解,生成,検索をサポートする統一フレームワークであるOmniBridgeを提案する。 タスク干渉の課題に対処するために,2段階の非結合型トレーニング戦略を提案する。 実験によると、OmniBridgeは3つのタスクすべてで、競争力や最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-23T13:57:55Z)
• REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering [26.428347164111926]
  推論時ステアリングは、パラメータを変更することなく、大きな言語モデルの応答を変更することを目的としている。 既存のアプローチはしばしば単純化的なキューやアドホックな一般化に依存している。 本稿では,Transformerモデルにおける振る舞い関連モジュールを識別するフレームワークであるREALを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T02:16:50Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。