論文の概要: OmniHarness: Harnessing Generalizable Visual Generation via Symbolic Policy Learning
- arxiv url: http://arxiv.org/abs/2609.16057v1
- Date: Sun, 13 Sep 2026 07:29:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.117309
- Title: OmniHarness: Harnessing Generalizable Visual Generation via Symbolic Policy Learning
- Title（参考訳）: OmniHarness:シンボリックポリシー学習による一般化可能なビジュアルジェネレーションのハーネス
- Abstract要約: シンボルポリシー学習による一般化可能な視覚生成のためのフレームワークであるOmniHarnessを紹介する。
OmniHarnessは、検証された実行を視覚生成タスクファミリーの象徴的なポリシーに抽象化する。
ComfyBenchのCreative Taskでは、オムニハーネスは95.0%のリゾリューション率を獲得し、最強のベースラインを27.5ポイント上回っている。
- 参考スコア（独自算出の注目度）: 13.420387939375969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified multimodal large language models (MLLMs) and multi-agent systems have advanced visual generation. However, three limitations remain. (1) Existing methods often distill task-specific experience with limited generalizability. (2) Reflection is often deferred until task completion. (3) Knowledge is often acquired only in response to downstream task demands. To address these limitations, we introduce OmniHarness, a framework for generalizable visual generation via symbolic policy learning. OmniHarness abstracts verified executions into symbolic policies for visual generation task families, capturing shared procedures and applicability conditions while removing instance-specific inputs. The harness instantiates, adapts, and composes these policies for new tasks. Intermediate verification guides refinement and failure recovery during execution. Through self-directed inquiry, OmniHarness autonomously generates and executes practice tasks near its capability limits before downstream objectives are specified. Execution feedback continually refines the policies while model parameters remain fixed. Experiments across six benchmarks, three MLLM backbones, and three visual agent frameworks demonstrate strong performance and continual capability expansion. On ComfyBench's Creative tasks, OmniHarness achieves a 95.0% resolve rate, exceeding the strongest baseline by 27.5 percentage points. Frozen policy snapshots improve existing visual agent systems through plug-and-play reuse.
- Abstract（参考訳）: 統合マルチモーダル大言語モデル(MLLM)とマルチエージェントシステムは、高度な視覚生成を持つ。
しかし、3つの制限が残っている。
1) 既存の方法は、限定的な一般化性を有するタスク固有の経験を蒸留することが多い。
2)リフレクションはタスク完了まで延期されることが多い。
(3) ダウンストリームのタスク要求に応じてのみ知識が取得されることが多い。
これらの制約に対処するために,シンボルポリシー学習による一般化可能な視覚生成のためのフレームワークであるOmniHarnessを紹介する。
OmniHarnessは、検証された実行をビジュアル生成タスクファミリーの象徴的なポリシーに抽象化し、インスタンス固有の入力を取り除きながら、共有手順と適用条件をキャプチャする。
ハーネスは、新しいタスクのためにこれらのポリシーをインスタンス化し、適応し、構成する。
中間検証は、実行中の洗練と障害回復をガイドする。
自己指揮型の調査を通じて、OmniHarnessは、下流の目的が特定される前に、その能力限界に近いプラクティスタスクを自律的に生成し、実行します。
実行フィードバックは、モデルパラメータが固定されている間、ポリシーを継続的に洗練します。
6つのベンチマーク、3つのMLLMバックボーン、3つのビジュアルエージェントフレームワークは、強力なパフォーマンスと継続的な機能拡張を示している。
ComfyBenchのCreative Taskでは、オムニハーネスは95.0%のリゾリューション率を獲得し、最強のベースラインを27.5ポイント上回っている。
凍結ポリシースナップショットは、プラグイン・アンド・プレイの再利用によって既存の視覚エージェントシステムを改善する。
関連論文リスト
- OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents [52.15259607762389]
自律型エージェントのための長距離ハーネスであるOneDayAgentを紹介する。
OneDayAgentはオープンなリクエストをマネージドな実行プロセスに変換する。
我々は104のタスクでAgentIF-OneDay上でOneDayAgentを評価する。
論文 参考訳（メタデータ） (2026-08-04T17:55:41Z) - CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic [14.598390101939001]
視覚言語モデル(VLM)は、視覚的およびテキスト的表現の整合性を顕著に示しており、幅広いマルチモーダルアプリケーションを可能にしている。
大規模なトレーニングデータは、プライバシー、著作権、望ましくないコンテンツに対する懸念を必然的に引き起こし、機械学習の強いニーズを生み出します。
本稿では,各左折要求を未学習のタスクベクトルとして表現するコンフリクト・アバースなタスク算術法であるCATAを提案する。
論文 参考訳（メタデータ） (2026-05-18T16:21:41Z) - Concurrent Prehensile and Nonprehensile Manipulation: A Practical Approach to Multi-Stage Dexterous Tasks [23.52755440099898]
実世界のデキスタラスマルチタスク操作のためのサンプル効率の良いアプローチであるDexMultiを提案する。
モノリシックなポリシーを学習する代わりに、現在のオブジェクトの幾何学に基づくスキルを抽出する。
提案手法は,オブジェクトごとの3～4つの実演で平均66%の成功率を達成し,拡散政策ベースラインを2～3倍に向上させる。
論文 参考訳（メタデータ） (2026-03-12T08:25:21Z) - Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。
有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。
我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
論文 参考訳（メタデータ） (2026-01-28T00:36:13Z) - OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agent [58.07447442040785]
私たちはOS-Symphonyを紹介します。これは、堅牢な自動化のための2つの重要なイノベーションをコーディネートするOrchestratorを含む包括的なフレームワークです。
結果は、OS-Symphonyが様々なモデルスケールで大幅なパフォーマンス向上をもたらすことを示した。
論文 参考訳（メタデータ） (2026-01-12T17:55:51Z) - Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。
応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。
本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
論文 参考訳（メタデータ） (2025-10-01T09:20:51Z) - Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。
本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
論文 参考訳（メタデータ） (2025-08-06T09:03:10Z) - ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。
彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。
OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
論文 参考訳（メタデータ） (2025-07-01T16:01:08Z) - ROCKET-1: Mastering Open-World Interaction with Visual-Temporal Context Prompting [24.56720920528011]
視覚言語モデル(VLM)は、マルチモーダルなタスクに優れていますが、オープンワールド環境における意思決定の具体化にそれらを適用することは、課題を示します。
1つの重要な問題は、低レベルの観測における個別の実体と効果的な計画に必要な抽象概念のギャップを埋めることである。
VLMとポリシーモデルの間の新しい通信プロトコルである視覚的時間的コンテキストを提案する。
論文 参考訳（メタデータ） (2024-10-23T13:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。