Fugu-MT 論文翻訳(概要): Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs

論文の概要: Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs

arxiv url: http://arxiv.org/abs/2607.09146v1
Date: Fri, 10 Jul 2026 07:00:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 14:47:12.803394
Title: Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs
Title（参考訳）: マルチモーダルLLMを用いたコード生成におけるプログラムフローチャートの可能性を探る
Abstract要約: ソフトウェア開発において、フローチャートのような図は、コード理解のようなタスクを容易にするために広く使われている。本研究では,AtCoder問題に対する例解コードからフローチャートを生成し,問題文とともに視覚支援を行い,GPT-4oを用いてコード生成を行った。その結果,フローチャートと問題文を統合することで,最大10%の性能向上が得られることがわかった。
参考スコア（独自算出の注目度）: 4.372207458643732
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, Large Language Models (LLMs) have made significant strides, leading to the emergence of multimodal LLMs capable of processing diverse inputs such as images and audio. Previous research indicates that the supply of multimodal LLMs with combined textual and visual information improves the automatic code generation capabilities. In software development, diagrams such as flowcharts are widely employed to facilitate tasks like code comprehension. While existing studies investigated the impact of visual inputs on LLMs and the usage of software diagrams, the potential influence of providing flowcharts on multimodal LLM performance remains underexplored. In this study, we generated flowcharts from example solution code for AtCoder problems and provided these visual aids alongside problem statements to GPT-4o for code generation. Our findings demonstrate that integrating flowcharts with problem statements yields performance improvements of up to 10%. Furthermore, when employing abstracted flowcharts, we observed a trend indicating that increasing levels of flowchart detail correlate with enhanced performance. Additionally, we compared the effectiveness of flowchart provision to Few-Shot Learning approaches. The findings suggest that one-shot learning provides sustainable improvements, whereas two-shot learning results in only minor improvements. Our work highlights the importance of software diagrams in supporting multimodal LLM-driven code generation.
Abstract（参考訳）: 近年,Large Language Models (LLM) は大きな進歩を遂げており,画像や音声などの多様な入力を処理するマルチモーダル LLM が出現している。従来,テキスト情報と視覚情報を組み合わせたマルチモーダルLLMの供給により,自動コード生成機能が改善されていた。ソフトウェア開発において、フローチャートのような図は、コード理解のようなタスクを容易にするために広く使われている。既存の研究では、視覚入力がLLMに与える影響とソフトウェアダイアグラムの利用について検討されているが、フローチャートの提供がマルチモーダルLLMの性能に与える影響は未解明のままである。本研究では,AtCoder問題に対する例解コードからフローチャートを生成し,問題文とともに視覚支援を行い,GPT-4oを用いてコード生成を行った。その結果,フローチャートと問題文を統合することで,最大10%の性能向上が得られることがわかった。さらに, 抽象フローチャートを用いた場合, フローチャートの精度向上と性能向上の関係が示唆された。さらに,フローチャート提供の有効性をFew-Shot Learningアプローチと比較した。その結果,一発学習は持続的な改善をもたらすが,二発学習の結果は軽微な改善しか得られないことがわかった。我々の研究は、マルチモーダルLLM駆動コード生成をサポートする上で、ソフトウェア図の重要性を強調します。

関連論文リスト

GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning [22.486504107013307]
VLM(Vision-Language Models)は、マルチモーダル信号の整列と理解において顕著な能力を示す。この機能をアンロックすることは、ソーシャルネットワークやレコメンデーションシステム、科学的発見といった現実世界のアプリケーションにとって不可欠である。マルチモーダルグラフ学習におけるVLMの性能評価と活用を目的としたベンチマークであるGraphVLMを提案する。
論文参考訳（メタデータ） (2026-03-09T16:37:55Z)
Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
論文参考訳（メタデータ） (2025-12-06T04:20:13Z)
A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文参考訳（メタデータ） (2025-11-19T04:13:36Z)
VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models [82.05514464090172]
マルチモーダルな大言語モデル(MLLM)は、視覚的およびテキスト的理解の統合を著しく進歩させてきた。しかし、マルチモーダル入力からコードを生成する能力は依然として限られている。視覚とコーディング言語モデルをシームレスにマージする統合フレームワークであるVisCodexを紹介します。
論文参考訳（メタデータ） (2025-08-13T17:00:44Z)
Graph-Augmented Large Language Model Agents: Current Progress and Future Prospects [57.53024716739594]
グラフ拡張LDMエージェント(GLA)は複雑なエージェントシステムの構造、連続性、調整を強化する。本稿では,最近の進歩の概要をタイムリーかつ包括的に紹介し,今後の研究の方向性を明らかにする。本論文は,GLAにおける今後の研究のロードマップとして機能し,GLAエージェントシステムにおけるグラフの役割のより深い理解を促進することを願っている。
論文参考訳（メタデータ） (2025-07-29T00:27:12Z)
Graph-MLLM: Harnessing Multimodal Large Language Models for Multimodal Graph Learning [23.089644598166885]
MLLM(Multimodal Large Language Models)は、多様なモダリティを表現および理解する際、顕著な能力を示す。構造化グラフ情報(マルチモーダルグラフ、MMG)とマルチモーダルを統合することは、ソーシャルネットワーク、ヘルスケア、レコメンデーションシステムといった現実のアプリケーションに不可欠である。既存のMMG学習手法はMLLMの活用法に基づいて3つのパラダイムに分類される。
論文参考訳（メタデータ） (2025-06-12T01:44:46Z)
MLaGA: Multimodal Large Language and Graph Assistant [9.985787670804823]
大規模言語モデル (LLMs) は, グラフ構造化データ解析の進歩に有効であることを示す。複雑なグラフ構造やマルチモーダル属性の推論を容易にするため,LLM機能を拡張する革新的なモデルであるMultimodal Large Language and Graph Assistant (MLaGA)を導入する。
論文参考訳（メタデータ） (2025-06-03T07:52:00Z)
GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design [13.365623514253926]
Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
論文参考訳（メタデータ） (2025-01-27T03:50:30Z)
Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文参考訳（メタデータ） (2024-10-10T12:41:19Z)
CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
論文参考訳（メタデータ） (2024-07-29T23:18:55Z)
First Multi-Dimensional Evaluation of Flowchart Comprehension for Multimodal Large Language Models [0.34952465649465553]
本研究では,フローチャートに関連するタスクに対して,MLLMを様々な次元にわたって評価する最初の包括的手法であるFlowCEを提案する。 GPT4oモデルでさえ56.63のスコアしか得られないことがわかった。オープンソースモデルの中で、Phi-3-Visionは49.97という最高スコアを獲得した。
論文参考訳（メタデータ） (2024-06-14T14:15:35Z)
VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。ビデオタスクのコンテキストにおいてLLMの実用性を拡張し,最小限のインプットとアウトプットのデモをコンテキストフレームワーク内で一般化する,新たなアプローチを提案する。
論文参考訳（メタデータ） (2024-03-21T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。