論文の概要: Evolution of Thought: Diverse and High-Quality Reasoning via Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2412.07779v1
• Date: Sun, 24 Nov 2024 14:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:28:49.771360
• Title: Evolution of Thought: Diverse and High-Quality Reasoning via Multi-Objective Optimization
• Title（参考訳）: 思考の進化:多目的最適化による多変量・高次推論
• Authors: Biqing Qi, Zhouyi Qian, Yiang Luo, Junqi Gao, Dong Li, Kaiyan Zhang, Bowen Zhou,
• Abstract要約: MLLM(Multi-modal large language model)は、複雑な推論タスクに適用されることが多い。 思考の進化 (EoT) は, 質の高い推論経路と多様な推論経路の両方を育むために提案される。 我々はEoTが他の競争ベースラインよりも優れた推論性能と効率を達成することを示す。
• 参考スコア（独自算出の注目度）: 14.346638764967357
• License:
• Abstract: As multi-modal large language models (MLLMs) are increasingly applied to complex reasoning tasks, the diversity and quality of reasoning paths become crucial factors affecting their performance. Although current methods aim to enhance reasoning quality through path expansion, they often neglect the diversity of reasoning paths and effective information sharing, leading to local optima and inefficiency. To address these challenges, we propose Evolution of Thought (EoT), a multi-objective framework designed to improve reasoning by fostering both high-quality and diverse reasoning paths. Specifically, we introduce the Non-dominated Sorting Genetic Algorithm II for multi-objective optimization, utilizing crossover and mutation operators to promote greater diversity in reasoning solutions. Additionally, we propose a Condensation-Aggregation mechanism to cluster and eliminate redundant paths, facilitate improved information sharing among parent nodes, and ultimately enhance both the efficiency and quality of the reasoning process. Validation experiments on various vision-language and language reasoning tasks demonstrate that EoT achieves superior reasoning performance and efficiency compared to other competitive baselines. Our study provides a novel perspective on the design of heuristic reasoning frameworks for MLLMs.
• Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)が複雑な推論タスクにますます適用されていくにつれ、推論パスの多様性と品質がそれらの性能に影響を及ぼす重要な要因となっている。 現在の手法は、経路拡大による推論品質の向上を目的としているが、しばしば推論経路の多様性や効果的な情報共有を無視し、局所的な最適性や非効率性をもたらす。 これらの課題に対処するため、我々は、高品質かつ多様な推論経路を育むことによって推論を改善するために設計された多目的フレームワークであるEoT(Evolution of Thought)を提案する。 具体的には,多目的最適化のためのNon-dominated Sorting Genetic Algorithm IIを導入し,クロスオーバーと突然変異演算子を用いて推論解の多様性を高める。 さらに、余剰経路をクラスタ化し排除し、親ノード間の情報共有の改善を促進し、究極的には推論プロセスの効率と品質を向上する凝縮凝集機構を提案する。 様々な視覚言語および言語推論タスクに対する検証実験は、EoTが他の競争基盤よりも優れた推論性能と効率を達成することを示した。 本研究はMLLMのためのヒューリスティック推論フレームワークの設計に関する新しい視点を提供する。

関連論文リスト

• Enhancing LLM Reasoning with Multi-Path Collaborative Reactive and Reflection agents [26.645038049346255]
  マルチパス推論(Multi-Path Reasoning:RR-MP)フレームワークを用いたリアクティブおよびリフレクションエージェントを提案する。 提案手法は,マルチパス推論機構を用いて科学的推論精度を向上させる。 道徳的シナリオ,大学レベルの物理,数学に関わる課題について,ゼロショットと少数ショットの評価を行った。
  論文  参考訳（メタデータ） (2024-12-31T13:11:20Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• Illuminating the Diversity-Fitness Trade-Off in Black-Box Optimization [9.838618121102053]
  現実世界のアプリケーションでは、ユーザーは1つの高品質なソリューションよりも構造的に多様な設計選択を好むことが多い。 本稿では, この課題に対する新たな視点として, 与えられたしきい値を超えるペア距離の一定数の解を同定する問題を考察する。
  論文  参考訳（メタデータ） (2024-08-29T09:55:55Z)
• Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems [60.91599969408029]
  複数の目的を同時に最適化することは、レコメンデーションプラットフォームにとって重要なタスクです。 既存の多目的推薦システムは、そのような動的な関係を体系的に考慮していない。
  論文  参考訳（メタデータ） (2024-07-04T02:19:49Z)
• Enhancing Decision-Making in Optimization through LLM-Assisted Inference: A Neural Networks Perspective [1.0420394952839245]
  本稿では,生成型AI(GenAI)と進化型アルゴリズム(EA)のシームレスな統合について検討する。 大規模言語モデル(LLM)の変換的役割に着目し,LLM支援推論による意思決定プロセスの自動化と向上の可能性について検討した。
  論文  参考訳（メタデータ） (2024-05-12T08:22:53Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• Knowledge Transfer for Dynamic Multi-objective Optimization with a Changing Number of Objectives [4.490459770205671]
  DMOPの目的が変化する状態遷移アルゴリズムには,十分な多様性が欠如していることが示される。 本稿では,変化後の多様性を高めるために,知識伝達動的多目的進化アルゴリズム(KTDMOEA)を提案する。
  論文  参考訳（メタデータ） (2023-06-19T01:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。