論文の概要: Thinking About Thinking: SAGE-nano's Inverse Reasoning for Self-Aware Language Models

• arxiv url: http://arxiv.org/abs/2507.00092v1
• Date: Mon, 30 Jun 2025 09:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.353681
• Title: Thinking About Thinking: SAGE-nano's Inverse Reasoning for Self-Aware Language Models
• Title（参考訳）: 思考を考える:SAGE-nanoの自己認識型言語モデルに対する逆推論
• Authors: Basab Jha, Firoj Paudel, Ujjwal Puri, Zhang Yuting, Choi Donghyuk, Wang Junhao,
• Abstract要約: 大規模言語モデル(LLM)は、Chain-of-Thoughtプロンプトで複雑な推論タスクを解く際、顕著な能力を示した。 我々は, LLM を分解し, 自己の推論連鎖をポストホックで説明できる新しいパラダイムであるtextbfinverse reasoning を紹介した。 私たちの研究は、透明なAIシステムのための新たな道を作り、AIの安全性、教育、科学的発見において大きなギャップを埋めます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities at solving complex reasoning tasks with Chain-of-Thought (CoT) prompting, but their decision-making processes remain somewhat blackbox. We introduce textbfinverse reasoning, a novel paradigm enabling LLMs to decompose and explain their own reasoning chains post-hoc. Our approach, used in SAGE-nano, a 4-billion-parameter reasoning model, employs a metacognitive structure that reflects back via attention processes to identify major decision points and generate explanations of reasoning choices. While typical CoT approaches are directed towards forward reasoning generation, inverse reasoning provides insight into why specific reasoning chains were selected over others. Through thorough testing of logical reasoning puzzles, math problems and ethical dilemmas from AQUA-RAT, CommonsenseQA, and customized benchmarks, we demonstrate that SAGE-nano is at the cutting edge both on reasoning accuracy (74.6% on AQUA-RAT) and explanation quality (92.1% human preference score) for its task, and offers performance almost on par with models like Claude-3.5 Sonnet or GPT-4o. Our contributions are: (i) the first rigorous framework for LLM self-reflection via inverse reasoning, (ii) a novel metalearning framework to reverse the attention flow, (iii) comprehensive evaluation frameworks for reasoning transparency, and (iv) evidence that increasing reasoning using inverse reasoning improves interpretability along with reasoning performance. Our work creates new avenues for transparent AI systems and closes significant gaps in AI safety, education, and scientific discovery.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、Chain-of-Thought (CoT) による複雑な推論タスクの解決において、顕著な能力を示してきたが、その決定プロセスは多少ブラックボックスのままである。 我々は, LLM を分解し, 自己の推論連鎖をポストホックで説明できる新しいパラダイムであるtextbfinverse reasoning を紹介した。 提案手法は, 4ビリオンパラメータ推論モデルであるSAGE-nanoにおいて, 注意プロセスを通して反射するメタ認知構造を用いて, 主要な決定点を同定し, 推論選択の説明を生成する。 典型的なCoTアプローチは前方推論生成に向けられているが、逆推論は、なぜ特定の推論連鎖が他よりも選択されたのかについての洞察を与える。 Aqua-RAT、CommonsenseQA、カスタマイズされたベンチマークから論理的推論パズル、数学問題、倫理的ジレンマの徹底的なテストを通じて、SAGE-nanoはそのタスクの推論精度(Aqua-RATの74.6%)と説明品質(92.1%)の両方で最先端にあり、Claude-3.5 SonnetやGPT-4oとほぼ同等のパフォーマンスを提供する。 私たちの貢献は次のとおりです。 (i)逆推論によるLDM自己回帰のための最初の厳格な枠組み。 (II)注目の流れを逆転させる新しいメタラーニングフレームワーク。 三 透明性の推理のための総合的な評価枠組み、及び 四 逆推論による推論の増加が推論性能とともに解釈可能性を向上させることの証拠。 私たちの研究は、透明なAIシステムのための新たな道を作り、AIの安全性、教育、科学的発見において大きなギャップを埋めます。

関連論文リスト

• KG-TRACES: Enhancing Large Language Models with Knowledge Graph-constrained Trajectory Reasoning and Attribution Supervision [8.025866693669622]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げてきたが、複雑な推論問題におけるそれらの性能は、説明責任と信頼性の欠如によって妨げられている。 我々は,LLMの推論能力を高めるために,知識グラフ制約トラジェクトリ推論属性と連鎖説明スーパービジョン(KG-TRACES)を提案する。 KG-TRACES は,(1) 記号関係経路の予測,(2) 完全三重レベル推論経路の予測,(3) 帰属対応推論過程の推論経路の予測を共同で行う。
  論文  参考訳（メタデータ） (2025-06-01T02:20:45Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach [11.400815134634016]
  本稿では,忠実な論理的推論のためのニューロシンボリックアプローチであるLINAを紹介する。 LLMが命題論理抽出から洗練された論理推論への移行を自律的に行えるようにすることで、LINAは推論プロセスのレジリエンスを高める。 実証的な評価は、LINAが確立された命題論理フレームワークと従来のプロンプト技術の両方を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-29T06:38:46Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
  非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。 まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。 我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
  論文  参考訳（メタデータ） (2023-10-28T10:05:51Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [31.238220405009617]
  推論に取り組むために大規模な言語モデル(LLM)をエクスプロイトすることは、注目を集めている。 複雑な論理的問題において満足な結果を達成することは依然として非常に困難であり、コンテキスト内の多くの前提とマルチホップ推論が特徴である。 本研究は,まず情報フローの観点からそのメカニズムを考察し,不規則な内容や無関係な内容を扱う際に,人間のような認知バイアスに類似した困難に直面することを明らかにする。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• LAMBADA: Backward Chaining for Automated Reasoning in Natural Language [11.096348678079574]
  LAMBADAと呼ばれる逆チェインアルゴリズムは、推論を4つのサブモジュールに分解する。 LAMBADAは最先端のフォワード推論手法よりも精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。