Fugu-MT 論文翻訳(概要): Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

論文の概要: Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

arxiv url: http://arxiv.org/abs/2607.10532v1
Date: Sun, 12 Jul 2026 02:01:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.458982
Title: Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment
Title（参考訳）: コンテキスト工学による暗黙的な微調整:マルチモーダルエンティティアライメントのためのカリキュラム学習フレームワーク
Abstract要約: まず,MMEAタスクにおける文脈工学とモデル微調整の数学的等価性を理論的に検証する。次に、微調整戦略を解釈可能な文脈工学に変換するカリキュラム学習に着想を得たフレームワークを提案する。
参考スコア（独自算出の注目度）: 13.20417621284088
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal Entity Alignment (MMEA) aims to identify equivalent entities across different modalities. While existing methods enhance MMEA performance through black-box context engineering strategies, their reliance on LLM parameter capacity and lack of theoretical interpretability remain unresolved. To this end, we first theoretically validate the mathematical equivalence between context engineering and model fine-tuning in MMEA tasks, demonstrating that prompt components simulate contrastive learning-based sequential fine-tuning in MMEA. Building on this foundation, we then propose PTFEA, a curriculum-learning-inspired framework that translates fine-tuning strategies into interpretable context engineering. Specifically, adaptive difficulty modulation dynamically adjusts information injection stages using confidence thresholds, establishing mathematical equivalence between curriculum learning weights and context sample selection; and three-stage progressive inference incorporates entity information from simple to complex cases, mirroring the gradient descent process in fine-tuning. Experiments on five public datasets demonstrate that PTFEA consistently outperforms strong baselines. In particular, on the ICWIKI dataset, PTFEA narrows the H@1 gap between Qwen2.5-72B and 14B to 0.6%. Moreover, compared with the representative context-engineering-based MMEA method MM-ChatAlign, PTFEA reduces the runtime of Qwen2.5-72B from 21 hours to 1 hour and lowers token consumption from 2200-3000 to 200-400, achieving over 80% reduction on the ICWIKI dataset. This work provides the first theoretical framework unifying context engineering and fine-tuning in MMEA, paving the way for future research that seeks to translate additional fine-tuning strategies into context engineering paradigms. Our code is available at https://github.com/DMiC-Lab-HFUT/PTFEA.
Abstract（参考訳）: MMEA(Multimodal Entity Alignment)は、異なるモダリティ間で等価なエンティティを識別することを目的としている。既存の手法は、ブラックボックスのコンテキストエンジニアリング戦略を通じてMMEAの性能を向上させるが、LLMパラメータのキャパシティへの依存と理論的解釈性の欠如は未解決のままである。そこで,本稿では,MMEAタスクにおける文脈工学とモデル微調整の数学的等価性について理論的に検証し,MMEAにおけるコントラッシブ学習に基づく逐次微調整をシミュレートする手法を提案する。この基盤の上に構築されたPTFEAは、微調整戦略を解釈可能な文脈工学に変換するカリキュラム学習に着想を得たフレームワークである。具体的には、適応的難易度変調は、信頼しきい値を用いて情報注入段階を動的に調整し、カリキュラムの学習重量と文脈サンプル選択の数学的等価性を確立する。 5つの公開データセットの実験は、PTFEAが強いベースラインを一貫して上回っていることを示している。特にICWIKIデータセットでは、PTFEAはQwen2.5-72Bと14Bの間のH@1ギャップを0.6%に狭める。さらに、代表的なコンテキストエンジニアリングベースのMMEA法MM-ChatAlignと比較して、PTFEAはQwen2.5-72Bのランタイムを21時間から1時間に短縮し、トークン消費量を2200-3000から200-400に削減し、ICWIKIデータセットの80%以上を削減した。この研究は、コンテキストエンジニアリングとMMEAの微調整を統一する最初の理論的枠組みを提供し、追加の微調整戦略をコンテキストエンジニアリングパラダイムに変換するための将来の研究の道を開く。私たちのコードはhttps://github.com/DMiC-Lab-HFUT/PTFEAで公開されています。

関連論文リスト

UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity [82.84279796262818]
視覚言語モデル(VLM)のための統一的な命令チューニングフレームワークUniFed-VLMを提案する。 1)Federated Compensated Subspace Aggregation (FedCSA) パラメータ効率のアダプタのサブスペース整合アグリゲーションを実行する。複数のベンチマークデータセットで実験を行い、UniFed-VLMがより優れた平均性能を実現することを示す。
論文参考訳（メタデータ） (2026-08-16T04:01:04Z)
Contexting as Recommendation: Evolutionary Collaborative Filtering for Context Engineering [37.86884288597418]
大規模言語モデル(LLM)は入力コンテキストに非常に敏感である。既存の手法は、これをグローバルな検索問題として扱い、単一のコンテキスト戦略を求める。 textbfNeural Collaborative Context Engineering (NCCE) は静的なグローバル検索から動的でインスタンスワイズなルーティングへ最適化を移行するフレームワークである。
論文参考訳（メタデータ） (2026-05-15T08:17:21Z)
New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文参考訳（メタデータ） (2026-04-10T22:39:38Z)
In-Place Test-Time Training [32.521599123691026]
In-Place Test-Time Training (In-Place TTT)は、テスト時間トレーニングを備えた大規模言語モデルをシームレスに提供するフレームワークである。 In-Place TTTは、ユビキタスブロックの最終射影行列を適応可能な高速ウェイトとして扱う。我々は,TTTの汎用的な再構築目標を,次世代のToken-Predictionタスクに合わせた,理論的に整った目標に置き換える。
論文参考訳（メタデータ） (2026-04-07T17:59:44Z)
Multitask-Informed Prior for In-Context Learning on Tabular Data: Application to Steel Property Prediction [10.228135528637411]
本研究では,TabPFNの先行にマルチタスク認識を注入するマルチタスク学習フレームワークを提案する。本手法は,タスク固有の微調整に比べて予測精度と計算効率を両立させる。
論文参考訳（メタデータ） (2026-03-24T03:03:54Z)
Mi:dm K 2.5 Pro [0.0]
Mi:dm K 2.5 Proはエンタープライズグレードの複雑さに対応するために設計されたフラッグシップLDMです。我々の方法論は、品質中心のキュレーションパイプラインを通じて堅牢なデータ基盤を構築します。 Mi:dm K 2.5 Proは、主要なグローバルモデルと国内モデルとの競争性能を達成する。
論文参考訳（メタデータ） (2026-03-19T11:37:06Z)
MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文参考訳（メタデータ） (2025-10-09T17:53:58Z)
RecLLM-R1: A Two-Stage Training Paradigm with Reinforcement Learning and Chain-of-Thought v1 [20.92548890511589]
本稿では,Large Language Models(LLM)を利用したレコメンデーションフレームワークであるRecLLM-R1を紹介する。 RecLLM-R1は、精度、多様性、新規性など、さまざまな評価指標において、既存のベースラインメソッドを大幅に上回っている。
論文参考訳（メタデータ） (2025-06-24T01:39:34Z)
Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文参考訳（メタデータ） (2025-06-16T07:55:14Z)
Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文参考訳（メタデータ） (2025-03-27T08:52:41Z)
R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
論文参考訳（メタデータ） (2024-11-27T10:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。