論文の概要: Symbolic Representation for Any-to-Any Generative Tasks
- arxiv url: http://arxiv.org/abs/2504.17261v1
- Date: Thu, 24 Apr 2025 05:35:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.258101
- Title: Symbolic Representation for Any-to-Any Generative Tasks
- Title（参考訳）: 任意の生成タスクに対する記号表現
- Authors: Jiaqi Chen, Xiaoye Zhu, Yue Wang, Tianyang Liu, Xinhui Chen, Ying Chen, Chak Tou Leong, Yifei Ke, Joseph Liu, Yiwen Yuan, Julian McAuley, Li-jia Li,
- Abstract要約: 本稿では,任意のマルチモーダルタスクを構造化されたシンボルフローとして表現できる記号生成タスク記述言語と推論エンジンを提案する。
本フレームワークは,タスク固有のチューニングを必要とせずに,強力なパフォーマンスと柔軟性を示すため,12以上の多様なマルチモーダル生成タスクを成功裏に実行した。
実験により,本手法はコンテンツ品質において,既存の最先端統一モデルに適合あるいは優れるだけでなく,効率,編集性,中断性も向上することが示された。
- 参考スコア（独自算出の注目度）: 25.808462395329194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a symbolic generative task description language and a corresponding inference engine capable of representing arbitrary multimodal tasks as structured symbolic flows. Unlike conventional generative models that rely on large-scale training and implicit neural representations to learn cross-modal mappings, often at high computational cost and with limited flexibility, our framework introduces an explicit symbolic representation comprising three core primitives: functions, parameters, and topological logic. Leveraging a pre-trained language model, our inference engine maps natural language instructions directly to symbolic workflows in a training-free manner. Our framework successfully performs over 12 diverse multimodal generative tasks, demonstrating strong performance and flexibility without the need for task-specific tuning. Experiments show that our method not only matches or outperforms existing state-of-the-art unified models in content quality, but also offers greater efficiency, editability, and interruptibility. We believe that symbolic task representations provide a cost-effective and extensible foundation for advancing the capabilities of generative AI.
- Abstract（参考訳）: 本稿では,任意のマルチモーダルタスクを構造化されたシンボルフローとして表現できる記号生成タスク記述言語とそれに対応する推論エンジンを提案する。
大規模学習や暗黙的なニューラル表現に頼る従来の生成モデルとは異なり、計算コストが高く、柔軟性が限られているため、我々のフレームワークは関数、パラメータ、トポロジ的論理という3つの中心的プリミティブからなる明示的な記号表現を導入している。
事前訓練された言語モデルを活用することで、推論エンジンは、自然言語命令を直接訓練不要な方法でシンボリックワークフローにマッピングする。
本フレームワークは,タスク固有のチューニングを必要とせずに,強力なパフォーマンスと柔軟性を示すため,12以上の多様なマルチモーダル生成タスクを成功裏に実行した。
実験により,本手法はコンテンツ品質において,既存の最先端統一モデルに適合あるいは優れるだけでなく,効率,編集性,中断性も向上することが示された。
我々は、シンボリックタスク表現が、生成AIの能力を向上させるための費用効率が高く拡張可能な基盤を提供すると信じている。
関連論文リスト
- CAFe: Unifying Representation and Generation with Contrastive-Autoregressive Finetuning [24.981279071712173]
本稿では,LVLMを表現タスクと生成タスクの両方に拡張する,対照的に自己回帰的な微調整フレームワークであるCAFeを紹介する。
提案手法は,従来のタスクを統一し,マルチモーダル検索とマルチモーダル生成ベンチマークの両面で最先端の結果を得る。
論文 参考訳（メタデータ） (2025-03-25T17:57:17Z) - SpeechVerse: A Large-scale Generalizable Audio Language Model [40.81864091356371]
SpeechVerseは堅牢なマルチタスクトレーニングおよびカリキュラム学習フレームワークである。
学習可能なパラメータの小さなセットを通じて、事前訓練された音声とテキスト基礎モデルを組み合わせる。
実験により、我々のマルチタスクSpeechVerseモデルは、従来のタスク固有のベースラインよりも11タスク中9タスクの方が優れていることが判明した。
論文 参考訳（メタデータ） (2024-05-14T03:33:31Z) - SymbolicAI: A framework for logic-based approaches combining generative models and solvers [9.841285581456722]
生成過程における概念学習とフロー管理に論理的アプローチを取り入れた,汎用的でモジュール化されたフレームワークであるSybolicAIを紹介する。
我々は,大規模言語モデル(LLM)を,自然言語命令と形式言語命令の両方に基づいてタスクを実行する意味的解決器として扱う。
論文 参考訳（メタデータ） (2024-02-01T18:50:50Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳（メタデータ） (2023-10-23T04:35:58Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳（メタデータ） (2023-10-09T06:57:45Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - UniDiff: Advancing Vision-Language Models with Generative and
Discriminative Learning [86.91893533388628]
本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。
UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
論文 参考訳（メタデータ） (2023-06-01T15:39:38Z) - Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
本稿では,多モーダル誤情報検出のための論理モデルを提案する。
本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。
3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
論文 参考訳（メタデータ） (2023-05-10T08:16:36Z) - Mastering Symbolic Operations: Augmenting Language Models with Compiled
Neural Networks [48.14324895100478]
ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。
CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。
実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-04T09:50:07Z) - Join-Chain Network: A Logical Reasoning View of the Multi-head Attention
in Transformer [59.73454783958702]
本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。
特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。
変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
論文 参考訳（メタデータ） (2022-10-06T07:39:58Z) - Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language
Understanding [51.31622274823167]
本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。
これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
論文 参考訳（メタデータ） (2022-08-19T02:46:20Z) - TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。
事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。
5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
論文 参考訳（メタデータ） (2022-05-25T08:57:46Z) - Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。
本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。
訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文 参考訳（メタデータ） (2021-10-04T15:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。