論文の概要: Bi-Chainer: Automated Large Language Models Reasoning with Bidirectional Chaining

• arxiv url: http://arxiv.org/abs/2406.06586v1
• Date: Wed, 5 Jun 2024 08:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-12 21:24:05.163921
• Title: Bi-Chainer: Automated Large Language Models Reasoning with Bidirectional Chaining
• Title（参考訳）: Bi-Chainer: 双方向チェインで推論する大規模言語モデルを自動化する
• Authors: Shuqi Liu, Bowei He, Linqi Song,
• Abstract要約: 本稿では,分岐オプションに遭遇した場合に,双方向チェイン方式であるBi-Chainerを提案する。 Bi-Chainerは,4つの挑戦的論理推論データセット上で,一方向チェインフレームワーク上での高精度ブートを実現する。
• 参考スコア（独自算出の注目度）: 15.090946039114106
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have shown human-like reasoning abilities but still face challenges in solving complex logical problems. Existing unidirectional chaining methods, such as forward chaining and backward chaining, suffer from issues like low prediction accuracy and efficiency. To address these, we propose a bidirectional chaining method, Bi-Chainer, which dynamically switches to depth-first reasoning in the opposite reasoning direction when it encounters multiple branching options within the current direction. Thus, the intermediate reasoning results can be utilized as guidance to facilitate the reasoning process. We show that Bi-Chainer achieves sizable accuracy boots over unidirectional chaining frameworks on four challenging logical reasoning datasets. Moreover, Bi-Chainer enhances the accuracy of intermediate proof steps and reduces the average number of inference calls, resulting in more efficient and accurate reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は人間のような推論能力を示しているが、複雑な論理問題を解く上ではまだ課題に直面している。 前方連鎖や後方連鎖のような既存の一方向連鎖法は、予測精度の低下や効率性の低下といった問題に悩まされる。 そこで本研究では,2方向チェインリング手法であるBi-Chainerを提案する。 これにより、中間推論結果をガイダンスとして利用して推論プロセスを容易にすることができる。 Bi-Chainerは,4つの挑戦的論理推論データセット上で,一方向チェインフレームワーク上での高精度ブートを実現する。 さらに、Bi-Chainerは中間証明ステップの精度を高め、推論呼び出しの平均回数を減らし、より効率的で正確な推論を行う。

関連論文リスト

• On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study [4.319482898846564]
  大規模言語モデルにおける推論を改善するための2つの重要な要因について検討する。 我々は、カスタムトークン化器を用いて、質問-トレース-回答三重項に対してデコーダのみの変換器を訓練する。 同じトレーニングの予算で、非効率なトレースで訓練されたモデルは、目に見えないグラフよりも一般化される。
  論文  参考訳（メタデータ） (2025-07-07T18:00:06Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [53.149817480019834]
  大規模推論モデル(LRM)の最近の進歩は、チェーン・オブ・ソート(CoT)による生成長のスケールアップにより、複雑な推論タスクにおける顕著な性能向上を実現している。 本稿では,推論過程のトークン生成中にテキストヒントを注入することにより,推論モデルに簡潔な発話を促すフレームワークであるConciseHintを提案する。 DeepSeek-R1 や Qwen-3 シリーズを含む最先端の LRM 実験により,本手法は性能を良好に保ちながら簡潔な推論過程を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [57.16286134405821]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• Adaptive Deep Reasoning: Triggering Deep Thinking When Needed [28.575411507835973]
  大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。 本稿では,問題複雑性に基づいて,短鎖と長鎖の推論チェーンを自律的に切り替える手法を提案する。 この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。
  論文  参考訳（メタデータ） (2025-05-26T15:08:51Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• Quantifying Logical Consistency in Transformers via Query-Key Alignment [20.636818928993684]
  本稿では,論理的推論のための新しい軽量評価手法を提案する。 提案手法は,1つのフォワードパスを計算し,慎重に選択されたヘッドから「QKスコア」を抽出することにより,無効な推論から確実に分離した潜在表現を明らかにする。
  論文  参考訳（メタデータ） (2025-02-24T10:02:50Z)
• Dynamic Parallel Tree Search for Efficient LLM Reasoning [102.16694475391665]
  Tree of Thoughts (ToT) は大規模言語モデル(LLM)推論を強化し、分散木としての問題解決を構造化する。 推論における推論経路を動的に最適化することを目的とした,新しい並列化フレームワークであるDynamic Parallel Tree Search (DPTS)を提案する。 Qwen-2.5とLlama-3のMath500とGSM8Kデータセットによる実験では、DPTSは平均で2-4倍効率が向上した。
  論文  参考訳（メタデータ） (2025-02-22T14:13:37Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• A Chain-of-Thought Is as Strong as Its Weakest Link: A Benchmark for Verifiers of Reasoning Chains [33.46649770312231]
  ステップバイステップの回答を提供するために言語モデルを実証することは、複雑な推論タスクにおいて顕著なアプローチである。 このような検証方法の徹底的な評価を可能にするための、きめ細かいステップレベルのデータセットは提供されていない。 ReVEAL: Reasoning Verification Evaluationは複雑なチェーン・オブ・ソート推論の自動検証をベンチマークするデータセットである。
  論文  参考訳（メタデータ） (2024-02-01T12:46:45Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• LAMBADA: Backward Chaining for Automated Reasoning in Natural Language [11.096348678079574]
  LAMBADAと呼ばれる逆チェインアルゴリズムは、推論を4つのサブモジュールに分解する。 LAMBADAは最先端のフォワード推論手法よりも精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:06:03Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Exploiting Reasoning Chains for Multi-hop Science Question Answering [51.86289192292466]
  我々のフレームワークは、コーパス固有のアノテーションを必要とせずに説明可能な推論を行うことができる。 ローカルチェーン情報とグローバルチェーン情報の両方に関するTextitChain対応の損失は、生成されたチェーンが遠隔監視信号として機能するようにも設計されている。
  論文  参考訳（メタデータ） (2021-09-07T07:22:07Z)
• Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games [66.98855910291292]
  本稿では,弱い教師付き信号から推論連鎖を復元する学習法を提案する。 証拠通路をどのように選択し、どのように選択された通路を接続するかを2つのモデルで処理する。 評価のために、2つのマルチホップQAデータセットに基づいたベンチマークを作成しました。
  論文  参考訳（メタデータ） (2020-04-06T03:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。