Fugu-MT 論文翻訳(概要): Message Passing Enables Efficient Reasoning

論文の概要: Message Passing Enables Efficient Reasoning

arxiv url: http://arxiv.org/abs/2607.01077v1
Date: Wed, 01 Jul 2026 15:35:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-02 19:56:07.964416
Title: Message Passing Enables Efficient Reasoning
Title（参考訳）: メッセージパッシングは効率的な推論を可能にする
Abstract要約: 大規模言語モデルのためのMPLM(Message Passing Language Models)を導入する。 MPLMは2つのキーメカニズムによる効率的なスケーリングを可能にする。 3つのタスクのクラスにおけるMPLMの約束を実証する。
参考スコア（独自算出の注目度）: 22.646686604591967
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While inference-time scaling has improved the reasoning abilities of large language models (LLMs), the need to generate long chains-of-thought (CoTs) is a computational bottleneck. Thus, in contrast to sequential scaling methods like CoT, recent parallel scaling techniques instead use fork and join (FJ) primitives to divide work across multiple LLM threads. However, in the fork-join paradigm, threads are typically transient and do not communicate pointwise with one another which limits scalability. To tackle this, we introduce Message Passing Language Models (MPLMs), a framework for LLM reasoning in which threads communicate directly via lightweight send and receive primitives. MPLMs enable efficient scaling through two key mechanisms: (1) reduced communication costs, achieved by avoiding redundant context sharing, and (2) preemption, which allows threads to terminate early based on partial information from their peers. We demonstrate the promise of MPLMs on 3 classes of tasks. First, on Sudoku puzzles, we show that MPLMs require an asymptotically smaller context than both serial CoT and parallel FJ. We then fine-tune a single model to solve 25 x 25 puzzles that remain challenging for standard CoT and FJ approaches, as well as frontier reasoning models without tools. Second, on 3-SAT puzzles, the capability of preemption allows termination of unpromising branches, which results in improved efficiency. Finally, we show that appropriately prompted large pre-trained models follow the MPLM protocol, achieving competitive results on long-context question answering relative to popular fork-join approaches.
Abstract（参考訳）: 推論時間スケーリングは、大規模言語モデル(LLM)の推論能力を改善する一方で、長いチェーン・オブ・シント(CoT)を生成する必要性は計算ボトルネックである。したがって、CoTのようなシーケンシャルなスケーリング手法とは対照的に、最近の並列スケーリング手法では、forkとjoin(FJ)プリミティブを使用して複数のLLMスレッド間で処理を分割している。しかしながら、fork-joinパラダイムでは、スレッドは通常トランジェントであり、スケーラビリティに制限のある互いにポイントワイズで通信しない。この問題を解決するために,LLM推論のためのフレームワークであるMPLM(Message Passing Language Models)を紹介した。 MPLMは、(1)冗長なコンテキスト共有を回避して実現した通信コストの削減、(2)プリエンプションという、2つの主要なメカニズムによる効率的なスケーリングを可能にする。 3つのタスクのクラスにおけるMPLMの約束を実証する。まず、数独パズルにおいて、MPLM はシリアル CoT と並列 FJ の両方よりも漸近的に小さい文脈を必要とすることを示す。次に、標準のCoTやFJアプローチ、ツールのないフロンティア推論モデルに挑戦し続ける25 x 25のパズルを解決するために、1つのモデルを微調整します。第2に、3SATパズルでは、プリエンプションの能力により、未発生の分岐が終了し、効率が向上する。最後に,大規模な事前学習モデルがMPLMプロトコルに適切に従い,一般的なフォークジョイントアプローチと比較して長文質問応答における競合的な結果が得られることを示す。

関連論文リスト

EPIC: Efficient and Parallel Inference under CFG Constraints for Diffusion Language Models [9.328325284438595]
現在の手法は、制約のない復号化よりも最大4倍遅い。本稿では,この制限に対処する効率的なCFG制約付きデコーディングフレームワークEPICを提案する。本手法は,レキシングメモ化,決定論的オートマトンの代わりにEareyスタイルの構文解析による検証,並列コミットのための互換性のあるサブセット選択を緩和することにより,デコード効率を向上させる。
論文参考訳（メタデータ） (2026-05-30T13:20:03Z)
Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting [59.37613121962146]
本稿では,クラスに依存しないオブジェクトカウントのためのMLLM駆動型弱教師付きフレームワークWS-COCを提案する。 WS-COCは、多くの最先端の完全に管理されたメソッドと一致し、また、アノテーションのコストを大幅に削減します。
論文参考訳（メタデータ） (2026-02-13T09:58:35Z)
Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
論文参考訳（メタデータ） (2025-02-27T14:14:50Z)
New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
論文参考訳（メタデータ） (2025-02-27T13:58:44Z)
Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning [0.0]
パターン・オブ・シント(CoT)とプログラム・オブ・シント(PoT)ファインチューニング(PoT)は、LPMの知識を小さな言語モデル(SLM)に転送する一般的な方法である。本稿では,SLMの問題解決プロセスを強化するために,新たな2段階のプロンプト戦略であるGap-Filling Prompting(GFP)を紹介する。
論文参考訳（メタデータ） (2024-11-08T08:52:59Z)
An Efficient Inference Framework for Early-exit Large Language Models [5.048467183620882]
初期出力モデルでは、静止層をスキップすることでLCMの推論効率を向上し、自信があれば出力トークンを直接生成する。早期終了モデルを考慮に入れたLLM推論フレームワークの作業はない。我々は,(1)反復レベルの粒度のバッチ推論,(2)KVキャッシュ管理という,早期終了モデルの効率的な推論フレームワークを構築する上での2つの課題を解決する。
論文参考訳（メタデータ） (2024-07-25T07:50:17Z)
Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文参考訳（メタデータ） (2024-04-16T06:34:08Z)
CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文参考訳（メタデータ） (2024-03-12T04:04:38Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
論文参考訳（メタデータ） (2023-02-02T07:51:19Z)
Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
論文参考訳（メタデータ） (2022-05-25T18:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。