論文の概要: Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning

• arxiv url: http://arxiv.org/abs/2404.04538v1
• Date: Sat, 6 Apr 2024 07:39:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:49:00.337030
• Title: Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning
• Title（参考訳）: マルチモーダル表現学習のためのグラフ・オブ・サートによるソフトプロンプト
• Authors: Juncheng Yang, Zuchao Li, Shuai Xie, Wei Yu, Shijun Li, Bo Du,
• Abstract要約: チェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。
• 参考スコア（独自算出の注目度）: 45.517215214938844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The chain-of-thought technique has been received well in multi-modal tasks. It is a step-by-step linear reasoning process that adjusts the length of the chain to improve the performance of generated prompts. However, human thought processes are predominantly non-linear, as they encompass multiple aspects simultaneously and employ dynamic adjustment and updating mechanisms. Therefore, we propose a novel Aggregation-Graph-of-Thought (AGoT) mechanism for soft-prompt tuning in multi-modal representation learning. The proposed AGoT models the human thought process not only as a chain but also models each step as a reasoning aggregation graph to cope with the overlooked multiple aspects of thinking in single-step reasoning. This turns the entire reasoning process into prompt aggregation and prompt flow operations. Experiments show that our multi-modal model enhanced with AGoT soft-prompting achieves good results in several tasks such as text-image retrieval, visual question answering, and image recognition. In addition, we demonstrate that it has good domain generalization performance due to better reasoning.
• Abstract（参考訳）: このチェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 これは、連鎖の長さを調整し、生成されたプロンプトの性能を改善する、ステップバイステップの線形推論プロセスである。 しかしながら、人間の思考過程は、複数の側面を同時に包含し、動的調整と更新機構を用いるため、主に非線形ではない。 そこで本研究では,マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。 提案したAGoTは、人間の思考過程をチェーンとしてだけでなく、各ステップを推論集約グラフとしてモデル化し、単一ステップの推論において見過ごされた思考の複数の側面に対処する。 これにより、推論プロセス全体をアグリゲーションとフロー操作のプロンプトに変換する。 実験の結果,AGoTソフトプロンプトにより強化されたマルチモーダルモデルは,テキスト画像検索,視覚的質問応答,画像認識などのタスクにおいて良好な結果が得られることがわかった。 さらに、より優れた推論により、ドメインの一般化性能がよいことを示す。

関連論文リスト

• Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
  ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。 マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
  論文  参考訳（メタデータ） (2024-10-12T06:21:58Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Chain of Thought Prompt Tuning in Vision Language Models [29.85907584680661]
  本稿では,視覚言語モデリングのための思考プロンプトチューニング手法を提案する。 私たちは、視覚とテキストの埋め込みを組み合わせたチェーン・オブ・シークレットのプロンプトを成功させた最初の人物です。
  論文  参考訳（メタデータ） (2023-04-16T23:59:25Z)
• Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models [121.54462976635743]
  大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行でき、ステップ・バイ・ステップのデモを通じて回答を見つけることができる。 そこで本研究では,手作りの例を数種類活用して,モデルにさらに多くの例を生成する手法であるSynthetic promptingを紹介する。 本手法は数値的,記号的,アルゴリズム的推論タスクにおいて評価し,既存のプロンプト手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-01T17:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。