論文の概要: OpenTinker: Separating Concerns in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2601.07376v1
• Date: Mon, 12 Jan 2026 09:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.327794
• Title: OpenTinker: Separating Concerns in Agentic Reinforcement Learning
• Title（参考訳）: OpenTinker: エージェント強化学習における関心の分離
• Authors: Siqi Zhu, Jiaxuan You,
• Abstract要約: 大規模言語モデル(LLM)エージェントの強化学習(RL)のための基盤であるOpenTinkerを紹介する。 モノリシックなエンドツーエンドのRLパイプラインに頼るのではなく、OpenTinkerはエージェント学習システムを軽量で構成可能なコンポーネントに分解する。 ユーザはエージェント、環境、インタラクションプロトコルを指定し、推論とトレーニングはマネージド実行ランタイムに委譲される。
• 参考スコア（独自算出の注目度）: 22.70448744880717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce OpenTinker, an infrastructure for reinforcement learning (RL) of large language model (LLM) agents built around a separation of concerns across algorithm design, execution, and agent-environment interaction. Rather than relying on monolithic, end-to-end RL pipelines, OpenTinker decomposes agentic learning systems into lightweight, composable components with clearly defined abstraction boundaries. Users specify agents, environments, and interaction protocols, while inference and training are delegated to a managed execution runtime. OpenTinker introduces a centralized scheduler for managing training and inference workloads, including LoRA-based and full-parameter RL, supervised fine-tuning, and inference, over shared resources. We further discuss design principles for extending OpenTinker to multi-agent training. Finally, we present a set of RL use cases that demonstrate the effectiveness of the framework in practical agentic learning scenarios.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)エージェントの強化学習(RL)のための基盤であるOpenTinkerを紹介する。 モノリシックなエンドツーエンドのRLパイプラインに頼るのではなく、OpenTinkerはエージェント学習システムを、明確に定義された抽象化境界を持つ軽量で構成可能なコンポーネントに分解する。 ユーザはエージェント、環境、インタラクションプロトコルを指定し、推論とトレーニングはマネージド実行ランタイムに委譲される。 OpenTinkerでは、LoRAベースのフルパラメータRL、教師付き微調整、推論、共有リソースなどを含む、トレーニングと推論のワークロードを管理する集中型スケジューラを導入している。 さらに、OpenTinkerをマルチエージェントトレーニングに拡張するための設計原則についても論じる。 最後に,実践的なエージェント学習シナリオにおいて,フレームワークの有効性を示す一連のRLユースケースを提案する。

関連論文リスト

• Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
  本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。 ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。 ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
  論文  参考訳（メタデータ） (2025-12-31T14:03:39Z)
• Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following [58.60470643433354]
  言語モデルは、現実世界のアプリケーションにとって重要なマルチ制約命令に従うのに苦労することが多い。 本稿では,外部監督に依存しないラベルフリーの自己監督型強化学習フレームワークを提案する。 本稿では,厳密な報酬問題に対処するために,制約分解戦略と効率的な制約ワイドバイナリ分類を導入する。
  論文  参考訳（メタデータ） (2025-10-16T08:24:44Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
  VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。 我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。 モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T01:45:18Z)
• Agent Lightning: Train ANY AI Agents with Reinforcement Learning [24.13422767414729]
  我々は,任意のAIエージェントに対して,強化学習(RL)に基づくLarge Language Models(LLM)のトレーニングを可能にするフレームワークであるAgens Lightningを提案する。 エージェント実行をマルコフ決定プロセスとして定式化することにより、統一データインターフェースを定義し、クレジット代入モジュールを含む階層的RLアルゴリズムLightningRLを提案する。 システム設計のために、トレーニング・エージェント・デアグリゲーションアーキテクチャを導入し、エージェント・オブザーバビリティ・フレームワークをエージェント・ランタイムに導入する。
  論文  参考訳（メタデータ） (2025-08-05T17:50:13Z)
• AgentFly: Extensible and Scalable Reinforcement Learning for LM Agents [25.735754822676277]
  言語モデル(LM)エージェントは、自律的にタスクを完了させる能力において、大きな注目を集めている。 強化学習(RL)は、推論や事実性など、LMの能力を高めるために研究されている。 AgentFlyは、多様なRLアルゴリズムでLMエージェントを強化するために設計されたスケーラブルでエージェント-RLフレームワークである。
  論文  参考訳（メタデータ） (2025-07-20T10:22:36Z)
• LExCI: A Framework for Reinforcement Learning with Embedded Systems [1.8218298349840023]
  本稿では,RLライブラリと組込みシステムとのギャップを埋める LExCI というフレームワークを提案する。 オープンソースライブラリのRLlibを使用して,組み込みシステム上でエージェントをトレーニングするための,無償かつオープンソースツールを提供する。 操作性は、最先端の2つのRL-algorithmと、迅速な制御プロトタイピングシステムで実証されている。
  論文  参考訳（メタデータ） (2023-12-05T13:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。