論文の概要: Instruction Mining From Images: Constructing a Synthetic Dataset for Multimodal Learning ILSP DCVLR Competition Submission

• arxiv url: http://arxiv.org/abs/2610.19932v1
• Date: Wed, 14 Oct 2026 10:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.099113
• Title: Instruction Mining From Images: Constructing a Synthetic Dataset for Multimodal Learning ILSP DCVLR Competition Submission
• Title（参考訳）: 画像からのインストラクションマイニング:マルチモーダルラーニングILSP DCVLRコンペティションサブミッションのための合成データセットの構築
• Abstract要約: 本研究は,DCVLRのための画像ベースの命令応答対を合成・キュレートする,コンパクトで再現可能なパイプラインを提案する。 我々はCauldronコレクションから抽出し、Qwen2.5-VL-7BインストラクションでMagpieスタイルの命令と応答合成を使用して、簡潔で画像調和の命令ペアを生成する。
• 参考スコア（独自算出の注目度）: 5.478463789203196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a compact and reproducible pipeline for synthesizing and curating image-based instruction-response pairs for DCVLR. We draw from the Cauldron collection and use Magpie-style instruction and response synthesis with Qwen2.5-VL-7B Instruct to create concise, image-conditioned instruction pairs. The pipeline consists of instruction synthesis, conditioned on input images and controlled via a system prompt, sanitization, tagging, and filtering of the instructions based on the score obtained by a reward model (DeBERTa-v3). We retain samples with positive scores to maximize the quality of the generated instructions. We observe that score distributions have a median and mean reward score of ~ 1.53 and ~ 1.75 respectively, indicating that most generated instructions are of good quality. The resulting dataset contains diverse instructions in the math, spatial, and social reasoning domains.
• Abstract（参考訳）: 本研究は,DCVLRのための画像ベースの命令応答対を合成・キュレートする,コンパクトで再現可能なパイプラインを提案する。 我々はCauldronコレクションから抽出し、Qwen2.5-VL-7BインストラクションでMagpieスタイルの命令と応答合成を使用して、簡潔で画像調和の命令ペアを生成する。 パイプラインは、命令合成からなり、入力画像に条件付けされ、システムプロンプト、衛生化、タグ付け、および報酬モデル(DeBERTa-v3)で得られたスコアに基づいて命令のフィルタリングによって制御される。 生成した命令の品質を最大化するために、正のスコアでサンプルを保持する。 スコア分布の中央値と平均値はそれぞれ 1.53 と ~ 1.75 であり、ほとんどの生成した命令が良質であることを示す。 得られたデータセットは、数学、空間、社会的推論領域における多様な指示を含む。

関連論文リスト

• AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards [56.31327687423783]
  美的指導と同じプロンプトから生成された画像を用いて,コンテンツプロンプトに接するコードを生成するAesCodeを紹介する。 そのために、AesCodeはターゲットを、キャンバス全体を記述する設計グラフとして表現し、それぞれのプロパティを帰属させる。 参照画像は既存のモデルが生成するコードの視覚的品質を大幅に改善し、AesCodeはモデル入力や視覚的報酬の源として参照から恩恵を受けることを示す。
  論文  参考訳（メタデータ） (2026-10-13T17:59:31Z)
• Instruction Data Selection via Answer Divergence [33.92400883748616]
  マルチサンプル出力の幾何学的構造に基づいて命令データを選択するAnswer Divergence-Guided Selection (ADG)を提案する。 ADGは命令ごとに高温世代を描画し、応答を埋め込み空間にマッピングし、出力分散スコアを計算する。 高いスコアは、一つの方向に沿ってクラスタ化されたパラフレーズではなく、答えが遠く、多様である指示に対応する。
  論文  参考訳（メタデータ） (2026-04-12T04:11:12Z)
• Automatic Synthesis of High-Quality Triplet Data for Composed Image Retrieval [25.071276825826047]
  Composed Image Retrieval (CIR)は、マルチモーダル(image+text)クエリを使ってターゲット画像を取得することを目的としている。 完全合成データセットであるComposeed Image Retrieval on High-quality Synthetic Triplets (CIRHS)とともに,自動三重項生成のためのスケーラブルパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-07-08T13:24:05Z)
• ShowHowTo: Generating Scene-Conditioned Step-by-Step Visual Instructions [57.304601070962086]
  本研究の目的は、入力画像が与えられた画像列の形式で、ステップバイステップの視覚的指示を生成することである。 課題の一部は、この問題に対する大規模なトレーニングデータが不足していることに起因する。 本稿では,指導ビデオから大規模視覚指導データを自動的に収集する手法を提案する。 第2に、提供された入力画像に整合したステップバイステップの視覚命令を生成することができるビデオ拡散モデルであるShowHowToを開発し、訓練する。
  論文  参考訳（メタデータ） (2024-12-02T21:40:17Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning [92.85265959892115]
  本稿では,Large-scale Robust Visual (LRV)-Instructionという,大規模かつ多様な視覚的インストラクションチューニングデータセットを紹介する。 本データセットは, GPT4が生成した400kの視覚的命令からなり, 16の視覚・言語的タスクをオープンエンドの指示と回答でカバーする。 LMMが生み出す幻覚を効果的に測定するために,人間の専門家による視覚指導のチューニングを安定的に評価するためのGAVIE(GPT4-Assisted Visual Instruction Evaluation)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T10:26:33Z)
• Pre-training Graph Transformer with Multimodal Side Information for Recommendation [82.4194024706817]
  本稿では,項目側情報とその関連性を考慮した事前学習戦略を提案する。 我々はMCNSamplingという新しいサンプリングアルゴリズムを開発し、各項目のコンテキスト近傍を選択する。 The proposed Pre-trained Multimodal Graph Transformer (PMGT) learns item representations with two objectives: 1) graph structure reconstruction, 2) masked node feature reconstruction。
  論文  参考訳（メタデータ） (2020-10-23T10:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。