論文の概要: Effects of structure on reasoning in instance-level Self-Discover
- arxiv url: http://arxiv.org/abs/2507.03347v1
- Date: Fri, 04 Jul 2025 07:28:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.70146
- Title: Effects of structure on reasoning in instance-level Self-Discover
- Title（参考訳）: 事例レベルの自己発見における構造が推論に及ぼす影響
- Authors: Sachith Gunasekara, Yasiru Ratnayake,
- Abstract要約: 本稿では、Self-Discoverフレームワークのインスタンスレベルの適応であるiSelf-Discoverを紹介し、それを用いて動的に生成された構造化推論と非構造化推論との比較を行う。
最先端のオープンソースモデルを用いた多種多様なベンチマークによる実証的評価は、非構造化推論に対する一貫した優位性を支持している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The drive for predictable LLM reasoning in their integration with compound systems has popularized structured outputs, yet concerns remain about performance trade-offs compared to unconstrained natural language. At the same time, training on unconstrained Chain of Thought (CoT) traces has brought about a new class of strong reasoning models that nevertheless present novel compute budget and faithfulness challenges. This paper introduces iSelf-Discover, an instance-level adaptation of the Self-Discover framework, and using it compares dynamically generated structured JSON reasoning with its unstructured counterpart. Our empirical evaluation across diverse benchmarks using state-of-the-art open-source models supports a consistent advantage for unstructured reasoning. Notably, on the complex MATH benchmark, unstructured plans achieved relative performance improvements of up to 18.90\% over structured approaches. Zero-shot unstructured iSelf-Discover variants are also shown to outperform their five-shot structured counterparts, underscoring the significance of this gap, even when structured plans are dynamically generated to ensure reasoning precedes the final answer. We further demonstrate that the optimal granularity of plan generation (instance-level vs. task-level) is context-dependent. These findings invite re-evaluation of the reliance on structured formats for complex problem-solving and how compound systems should be organized.
- Abstract（参考訳）: 複合システムとの統合における予測可能なLLM推論の推進力は構造化された出力を普及させたが、制約のない自然言語と比較して性能上のトレードオフが懸念されている。
同時に、制約のない思考の連鎖(CoT)トレースのトレーニングは、新しい計算予算と忠実度課題を提示する強い推論モデルの新しいクラスを生み出した。
本稿では、Self-Discoverフレームワークのインスタンスレベルの適応であるiSelf-Discoverを紹介し、それを用いて動的に生成された構造化JSON推論と非構造化JSON推論との比較を行う。
最先端のオープンソースモデルを用いた多種多様なベンチマークによる実証的評価は、非構造化推論に対する一貫した優位性を支持している。
特に、複雑なMATHベンチマークでは、構造化されたアプローチよりも18.90倍の相対的な性能向上を達成した。
ゼロショットの非構造的 iSelf-Discover 変種は、最終的な答えに先立って、構造化された計画が動的に生成されても、このギャップの重要性を強調して、5ショットの構造化された変種を上回ることが示されている。
さらに、計画生成の最適粒度(インスタンスレベル対タスクレベル)がコンテキスト依存であることを実証する。
これらの結果は、複雑な問題解決のための構造化フォーマットへの依存度の再評価と、複合システムがどのように構成されるべきかを再評価するものである。
関連論文リスト
- Modeling and Visualization Reasoning for Stakeholders in Education and Industry Integration Systems: Research on Structured Synthetic Dialogue Data Generation Based on NIST Standards [3.5516803380598074]
本研究では,教育産業統合(EII)システムにおける利害関係者の相互作用の構造的複雑さと意味的あいまいさに対処する。
我々は,NIST(National Institute of Standards and Technology)合成データ品質フレームワークに基づく構造モデリングパラダイムを提案する。
論文 参考訳（メタデータ） (2025-06-20T12:37:43Z) - AlphaFold Database Debiasing for Robust Inverse Folding [58.792020809180336]
Debiasing Structure AutoEncoder (DeSAE)を導入し、故意に破損したバックボーンジオメトリからネイティブライクなコンフォーメーションを再構築することを学ぶ。
推測において、DeSAEをAFDB構造に適用すると、逆折り畳み性能を著しく向上する偏りのある構造が生成される。
論文 参考訳（メタデータ） (2025-06-10T02:25:31Z) - Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization [49.567092222782435]
我々は,異なる特徴帰属法間の合意として定義された,XAI整合性という新しい概念を紹介する。
予測性能と説明のバランスをとる多目的最適化フレームワークを構築した。
本研究は、トレードオフゾーンバランス性能損失とXAI整合性による強靭性向上のモデルについて、今後の研究基盤を提供する。
論文 参考訳（メタデータ） (2025-05-12T13:19:14Z) - Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。
コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。
実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
論文 参考訳（メタデータ） (2025-02-06T04:01:27Z) - Neural Contextual Reinforcement Framework for Logical Structure Language Generation [1.08272575635683]
このフレームワークはカスタム報酬関数と動的コンテキストアライメント機構を統合している。
論理構造やセマンティックフローに対する人間の期待と密接に一致した出力を生成する。
さまざまなモデルサイズにわたるノイズの多い入力データとスケーラビリティを扱う上で、堅牢性を示す。
論文 参考訳（メタデータ） (2025-01-20T11:34:28Z) - Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。
我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。
また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
論文 参考訳（メタデータ） (2024-02-22T18:55:17Z) - StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure [5.2869308707704255]
StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。
本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。
次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
論文 参考訳（メタデータ） (2023-05-09T16:20:48Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。