論文の概要: A Picture Is Worth a Graph: Blueprint Debate on Graph for Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2403.14972v1
• Date: Fri, 22 Mar 2024 06:03:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:27:45.697366
• Title: A Picture Is Worth a Graph: Blueprint Debate on Graph for Multimodal Reasoning
• Title（参考訳）: グラフの価値:マルチモーダル推論のためのグラフに関するブループリント議論
• Authors: Changmeng Zheng, Dayong Liang, Wengyu Zhang, Xiao-Yong Wei, Tat-Seng Chua, Qing Li,
• Abstract要約: この研究は、過剰な要約による意見の自明化と、画像から導入された散逸した概念による焦点の転換という2つの主要な課題に対処する。 この問題に対処するため,BDoG (Blueprint Debate on Graphs) と呼ばれる演目的(トップダウン)な議論手法を提案する。 BDoGでは、世界レベルの要約による意見の自明化を防止するために、ブループリントグラフに限定して議論を行う。さらに、BDoGはグラフ内の枝に証拠を格納することで、頻繁だが無関係な概念によって引き起こされる混乱を緩和する。
• 参考スコア（独自算出の注目度）: 53.35861580821777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a pilot study aimed at introducing multi-agent debate into multimodal reasoning. The study addresses two key challenges: the trivialization of opinions resulting from excessive summarization and the diversion of focus caused by distractor concepts introduced from images. These challenges stem from the inductive (bottom-up) nature of existing debating schemes. To address the issue, we propose a deductive (top-down) debating approach called Blueprint Debate on Graphs (BDoG). In BDoG, debates are confined to a blueprint graph to prevent opinion trivialization through world-level summarization. Moreover, by storing evidence in branches within the graph, BDoG mitigates distractions caused by frequent but irrelevant concepts. Extensive experiments validate BDoG, achieving state-of-the-art results in Science QA and MMBench with significant improvements over previous methods.
• Abstract（参考訳）: 本稿では,マルチモーダル推論にマルチエージェントの議論を導入することを目的としたパイロット研究を提案する。 この研究は、過剰な要約による意見の自明化と、画像から導入された散逸した概念による焦点の転換という2つの主要な課題に対処する。 これらの課題は、既存の議論スキームの帰納的(ボットアップ)性に起因している。 この問題に対処するため,BDoG (Blueprint Debate on Graphs) と呼ばれる演目的(トップダウン)な議論手法を提案する。 BDoGでは、議論は世界レベルの要約による意見の自明化を防ぐために青写真グラフに限られる。 さらに、グラフ内の枝にエビデンスを格納することで、BDoGは頻繁だが無関係な概念によって引き起こされる散逸を緩和する。 大規模な実験によりBDoGが検証され、Science QAとMMBenchの最先端の結果が得られた。

関連論文リスト

• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• DebateKG: Automatic Policy Debate Case Creation with Semantic Knowledge Graphs [0.0]
  本稿では,Argumentative Semantic Knowledge Graphs上で,制約付き最短経路トラバーサルを用いて効果的な議論ケースを構築することができることを示す。 53180の新しい例を導入することで、DebateSumを大幅に改善しました。 政策論争の事例を生成する文脈において、どの知識グラフが優れているかを評価するためのユニークな方法を作成する。
  論文  参考訳（メタデータ） (2023-07-09T04:19:19Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Explaining Image Classification with Visual Debates [26.76139301708958]
  本稿では,特定の予測を行うための連続画像分類器の推論の理解と説明のための新しい議論フレームワークを提案する。 我々の枠組みは、対戦相手が見逃した推論の道筋を拾い上げることで、競技者が様々な議論を行うよう促す。 我々は、幾何学的SHAPEおよびMNISTデータセット上で、視覚的議論を実証し、評価する(実用的な実現)。
  論文  参考訳（メタデータ） (2022-10-17T12:35:52Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Deep Image Deblurring: A Survey [165.32391279761006]
  低レベルのコンピュータビジョンにおいて、デブロアリングは古典的な問題であり、ぼやけた入力画像からシャープなイメージを復元することを目的としている。 近年のディープラーニングの進歩は、この問題の解決に大きな進歩をもたらした。
  論文  参考訳（メタデータ） (2022-01-26T01:31:30Z)
• Jointly Attacking Graph Neural Network and its Explanations [50.231829335996814]
  グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクのパフォーマンスを向上した。 近年の研究では、GNNは敵の攻撃に対して非常に脆弱であることが示されており、敵はグラフを変更することでGNNの予測を誤認することができる。 本稿では、GNNモデルとその説明の両方を同時に利用して攻撃できる新しい攻撃フレームワーク(GEAttack)を提案する。
  論文  参考訳（メタデータ） (2021-08-07T07:44:33Z)
• On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning [15.965337956587373]
  PlausIble Exceptionality-based Contrastive Explanations (PIECE) は、テストイメージにおけるすべての例外的特徴を、対実クラスの観点から正規化するように修正する。 2つの制御された実験は、PIECEを文献上の他のものと比較し、PIECEはいくつかの尺度において最も妥当な反事実を生成するだけでなく、最良の半事実も生成することを示した。
  論文  参考訳（メタデータ） (2020-09-10T14:48:12Z)
• Debate Dynamics for Human-comprehensible Fact-checking on Knowledge Graphs [27.225048123690243]
  本稿では,議論力学に基づく知識グラフのファクトチェック手法を提案する。 基礎となる考え方は、2つの強化学習エージェント間の議論ゲームとして三重分類のタスクを設定することである。 提案手法では,知識グラフの対話的推論が可能であり,ユーザが追加の議論を提起したり,共通感覚推論や外部情報を考慮した議論を評価できる。
  論文  参考訳（メタデータ） (2020-01-09T15:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。