論文の概要: FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts
- arxiv url: http://arxiv.org/abs/2607.20500v1
- Date: Sat, 20 Jun 2026 21:46:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.203976
- Title: FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts
- Title（参考訳）: フロー編集:紛争に関わる問題に対するLLM推論フローの情報理論制御
- Abstract要約: FlowEditは、Large Language Models (LLM)の内部推論フローを定量化し、規制するフレームワークである。
FlowEditは主要なプロプライエタリモデルよりも優れており、正確なセットマッチ精度が68%向上し、全体のレスポンスインフォメーションが24%向上している。
また,各枝の内部に集中し,フロー境界を増幅し,必要となるフロー数に応じてスケールする次トーケンエントロピーの再分布として,トークンストリーム内のフロー制御面が現れることを示す。
- 参考スコア（独自算出の注目度）: 10.545916301130033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) perform strongly on well-specified reasoning tasks with a feasible answer. However, problems encountered in the open world can become ill-posed due to inconsistent conditions, conflicting statements, or mutually incompatible requirements, admitting no valid responses. We argue that reasoning of such ill-posed problems involving conflicts require novel LLM capabilities to make hidden conflicts explicit, maintain competing hypotheses via multiple reasoning branches, and generate alternative responses in a single pass, all of which are challenging due to the limitation of the next-token prediction mechanism in LLMs. To this end, we propose FlowEdit, a novel framework that leverages information-theoretic principles to quantify and regulate internal reasoning flows of LLMs, for generating a full set of alternative responses under valid hypotheses. FlowEdit can be viewed as enforcing a branch-aware reasoning process using two dual information-theoretic objectives on the model's internal reasoning representations: maximizing the information flow from each selected hypothesis to the branch outcome, while minimizing the overlap and conditional dependence across sibling branches, to provide a diverse, informative set of responses with broad coverage. We show that this is achieved through tractable variational bounds under boundary embeddings being ε-sufficient, optimizing the underlying conditional mutual information in LLM reasoning process. Extensive experiments demonstrate that FlowEdit outperforms leading proprietary models, improving exact-set-match accuracy by 68%, while boosting overall response informativeness by 24%. We further show that flow regulation surfaces in the token stream as a redistribution of next-token entropy that concentrates inside each branch, amplifies at flow boundaries, and scales with the number of flows the problem requires.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、よく特定された推論タスクに対して、実現可能な答えで強く機能する。
しかし、オープンワールドで遭遇した問題は、一貫性のない条件、矛盾するステートメント、あるいは相互に互換性のない要求のために悪化し、有効な応答は認められない。
紛争に関わる不適切な問題の推論には、隠れた紛争を明確にし、複数の推論枝を介して競合する仮説を維持し、一つのパスで代替の応答を発生させることが要求されるが、これらはLLMにおける次の予測機構の制限により困難である。
そこで本研究では,LLMの内部推論フローの定量化と制御に情報理論の原理を活用する新しいフレームワークであるFlowEditを提案する。
FlowEditは、モデルの内部推論表現に関する2つの双対情報理論的目的を用いた分岐認識推論プロセスの実行として、選択された仮説から分岐結果への情報フローの最大化と、兄弟枝間の重複と条件依存性の最小化と、広範囲にわたる多種多様な情報的応答のセットを提供する。
このことは,LLM推論プロセスにおける条件付き相互情報の最適化により, ε が十分である境界埋め込みの下でのトラクタブルな変動境界によって達成されることを示す。
大規模な実験によると、FlowEditは主要なプロプライエタリモデルより優れており、正確なセットマッチ精度が68%向上し、全体のレスポンスインフォメーションが24%向上している。
さらに,各分岐の内部に集中し,フロー境界を増幅し,必要となるフロー数に応じてスケールする次トーケンエントロピーの再分配として,トークンストリーム内のフロー制御面が現れることを示す。
関連論文リスト
- CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。
本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。
実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
論文 参考訳（メタデータ） (2026-08-12T04:27:45Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-09T03:38:29Z) - Diffusion LLMs are Natural Adversaries for any LLM [50.88535293540971]
資源集約的(逆)な最適化問題を非効率な暗黙的推論タスクに変換する新しいフレームワークを提案する。
我々の中核となる洞察は、事前訓練された非自己回帰的生成LDMは、迅速な探索のための強力なサロゲートとして機能できるということである。
生成したプロンプトは、さまざまなブラックボックスターゲットモデルに対して強い転送可能性を示す、低複雑で多様なジェイルブレイクであることがわかった。
論文 参考訳（メタデータ） (2025-10-31T19:04:09Z) - A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。
我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。
我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
論文 参考訳（メタデータ） (2025-09-25T14:11:57Z) - PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier [18.771754895027616]
Policy as Generative Verifier (PAG) は、政策と検証役を交互に交互に行うことで、大規模言語モデルに自己修正の権限を与えるフレームワークである。
モデル崩壊を緩和し、推論能力と検証能力の両方を共同で強化する。
論文 参考訳（メタデータ） (2025-06-12T06:59:35Z) - Exploring LLM Reasoning Through Controlled Prompt Variations [0.9217021281095907]
我々は,4種類の急激な摂動に直面する場合,最先端モデルが論理的整合性と正当性を維持するかを評価する。
13個のオープンソースおよびクローズドソース LLM を用いて実験を行った結果,モデルコンテキストウィンドウ内に無関係なコンテキストを導入することで,性能が著しく低下することが判明した。
ある摂動は、明示的なプロンプトなしでも、必然的にチェーンオブ思考のような推論行動を引き起こす。
論文 参考訳（メタデータ） (2025-04-02T20:18:50Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - Federated Neuro-Symbolic Learning [39.04545654772026]
FL通信媒体として潜伏変数を用いたFedNSL(Federated Neuro-Symbolic Learning framework)を提案する。
FedNSLは、単純で効果的なKullback-Leibler(KL)分散制約によって規則分布を特定し、対処することができる。
合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。
論文 参考訳（メタデータ） (2023-08-29T14:20:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。