論文の概要: ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI

• arxiv url: http://arxiv.org/abs/2609.22285v1
• Date: Sun, 13 Sep 2026 07:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.864325
• Title: ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI
• Title（参考訳）: ORDER: ドメイン適応型体操AIのための架空の世界ベンチマーク
• Abstract要約: 言語モデルを新しいドメインに連続的な事前学習で適応させることは、基本的な評価問題を引き起こす。 実世界のベンチマークであるORDER(Ontology-driven Decision-making for Embodied Reasoning)を紹介する。
• 参考スコア（独自算出の注目度）: 1.2031796234206136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting language models to new domains via continual pre-training raises a basic evaluation problem: if the training corpus overlaps with what the model already knows, performance gains cannot be cleanly attributed to new learning rather than pre-existing knowledge. This matters most for knowledge-intensive, task-light (KHTL) robot deployments - pharmaceutical dispensing, hazardous-material handling, facility-specific protocols, where the physical task is simple but the governing rules are proprietary and safety-critical, and where extensive live testing is costly or unsafe. We introduce ORDER (Ontology-driven Decision-making for Embodied Reasoning), a benchmark built on a fictitious world: a 342,069-token synthetic corpus defining a self-consistent physics that cannot appear in any model's pre-training data. ORDER pairs a 500-question knowledge test (ORDER-BENCH) with a harder compositional task, ORDER-SPATIAL: ordering objects for safe manipulation across both familiar and entirely novel scenes. GPT-4.1 without adaptation scores below chance on ORDER-SPATIAL (Kendall's tau = 0.441), showing its priors actively conflict with the invented physics. After continual pre-training, small models improve substantially on both familiar and novel scenes alike evidence of genuine world-model induction rather than memorization. We then carry this through to a robot pipeline: models that answer the knowledge test well often cannot produce valid, executable plans without a further skill-adaptation stage, after which small, fully offline models outperform GPT-4.1 even when GPT-4.1 is given retrieval access to the same rules (Kendall's tau = 0.848 vs. 0.606), on a full perception-to-execution loop demonstrated on a simulated iiwa7 arm with human-in-the-loop correction. Throughout, ORDER-SPATIAL performance, not knowledge-test accuracy is what predicts real plan quality.
• Abstract（参考訳）: トレーニングコーパスがモデルがすでに知っているものと重複している場合、既存の知識ではなく、新しい学習によるパフォーマンス向上をクリーンに評価することはできない。 これは、知識集約型タスクライト(KHTL)ロボットのデプロイメント - 薬品のディスペンシング、有害物質処理、施設固有のプロトコル、物理的なタスクはシンプルだが、規制ルールはプロプライエタリで安全に重要であり、広範なライブテストはコストがかからない。 提案するORDER(Ontology-driven Decision-making for Embodied Reasoning)は,任意のモデルの事前学習データに存在しない自己整合性物理を定義する342,069個の合成コーパスである。 ORDERは500クエストナレッジテスト(ORDER-BENCH)と、より難しい構成タスクであるORDER-SPATIAL(英語版)をペアにしている。 GPT-4.1はORDER-SPATIAL (Kendall's tau = 0.441) の確率以下であり、先例は発明された物理学と積極的に衝突している。 連続的な事前訓練の後、小さなモデルは記憶ではなく真の世界モデル誘導の証拠として、慣れ親しんだシーンと斬新なシーンの両方で大幅に改善された。 GPT-4.1が同じルール(Kendall's tau = 0.848 vs. 0.606)に検索アクセスを付与された場合でも、GPT-4.1より小型で完全にオフラインなモデルの方が優れた結果が得られる(Kendall's tau = 0.848 vs. 0.606)。 全体を通して、ORDER-SPATIALのパフォーマンスは、知識テストの精度ではなく、実際の計画品質を予測するものである。

関連論文リスト

• SelfOp: An Optimization Algorithm for Self-Improving Security Agents [25.760960445642922]
  SelfOpはフリーズされたセキュリティエージェントのタスクコンテキストを自動的に改善するアルゴリズムである。 エラー信号は評価器、エージェントの軌道、およびその振る舞いを形成するコンテキストアーティファクトを通じて後方に伝播する。 SelfOp は GPT-5.4-mini の 17 点自己改善を達成し、フロンティア GPT-5.4 のベースラインを 6 点超え、GPT-5.4 の 18.5 点自己改善を達成している。
  論文  参考訳（メタデータ） (2026-09-19T05:51:27Z)
• Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
  本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。 Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。 我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
  論文  参考訳（メタデータ） (2026-04-23T14:42:54Z)
• Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
  小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。 特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:09Z)
• P-Aligner: Enabling Pre-Alignment of Language Models via Principled Instruction Synthesis [33.48877877146247]
  大規模言語モデル(LLM)は、人間のユーザとのインタラクションにおいて、安全で有用な、誠実なコンテンツを生み出すことが期待されている。 LLMはしばしば、欠陥のある命令が与えられたとき、そのような値と一致しない。 P-Aligner(P-Aligner)は、より人間に好まれる形で表現されながら、オリジナルのインテントを保存する命令を生成する軽量モジュールである。
  論文  参考訳（メタデータ） (2025-08-06T16:51:38Z)
• Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets [0.0]
  汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。 より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。 対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
  論文  参考訳（メタデータ） (2025-05-02T12:31:43Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。