論文の概要: LLMSR@XLLM25: An Empirical Study of LLM for Structural Reasoning

• arxiv url: http://arxiv.org/abs/2505.12328v1
• Date: Sun, 18 May 2025 09:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.167032
• Title: LLMSR@XLLM25: An Empirical Study of LLM for Structural Reasoning
• Title（参考訳）: LLMSR@XLLM25:構造推論のためのLLMの実証的研究
• Authors: Xinye Li, Mingqi Wan, Dianbo Sui,
• Abstract要約: We present Team asdfo123's submit to the LLMSR@XLLM25 shared task。 我々は、粒度、制御性、解釈可能な推論プロセスを生成する上で、大きな言語モデルを評価する。 提案手法は, マクロF1スコアを, より複雑で資源消費の少ないパイプラインと同等に達成し, 総合5位にランク付けする。
• 参考スコア（独自算出の注目度）: 6.700515856842664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Team asdfo123's submission to the LLMSR@XLLM25 shared task, which evaluates large language models on producing fine-grained, controllable, and interpretable reasoning processes. Systems must extract all problem conditions, decompose a chain of thought into statement-evidence pairs, and verify the logical validity of each pair. Leveraging only the off-the-shelf Meta-Llama-3-8B-Instruct, we craft a concise few-shot, multi-turn prompt that first enumerates all conditions and then guides the model to label, cite, and adjudicate every reasoning step. A lightweight post-processor based on regular expressions normalises spans and enforces the official JSON schema. Without fine-tuning, external retrieval, or ensembling, our method ranks 5th overall, achieving macro F1 scores on par with substantially more complex and resource-consuming pipelines. We conclude by analysing the strengths and limitations of our approach and outlining directions for future research in structural reasoning with LLMs. Our code is available at https://github.com/asdfo123/LLMSR-asdfo123.
• Abstract（参考訳）: 我々は,LLMSR@XLLM25共有タスクへのAsdfo123の提出について述べる。 システムは全ての問題条件を抽出し、思考の連鎖をステートメント・エビデンス対に分解し、それぞれのペアの論理的妥当性を検証する必要がある。 既製のMeta-Llama-3-8B-Instructのみを活用して、簡潔な数発のマルチターンプロンプトを作成し、まずすべての条件を列挙し、すべての推論ステップのラベル付け、引用、調整を行う。 正規表現に基づいた軽量なポストプロセッサは、公式なJSONスキーマを正規化し、強制する。 微調整や外部検索,アンサンブルがなければ,本手法は全5位にランクインし,より複雑で資源消費の少ないパイプラインと同等のマクロF1スコアを達成できる。 提案手法の強みと限界を分析し,LLMを用いた構造的推論における今後の研究の方向性を概説する。 私たちのコードはhttps://github.com/asdfo123/LLMSR-asdfo123で公開されています。

関連論文リスト

• LLMSR@XLLM25: Less is More: Enhancing Structured Multi-Agent Reasoning via Quality-Guided Distillation [6.920352059545929]
  本稿では,LLMSR@XLLM25構造推論タスクにおける3位獲得手法であるLess is Moreを提案する。 提案手法は,逆プロンプト誘導,GPT-4oによる検索拡張推論合成,二段階報酬誘導フィルタリングを用いたマルチエージェントフレームワークを活用する。 全てのモジュールはメタラマ-3-8B-インストラクトからLoRA+を統一した構成で微調整される。
  論文  参考訳（メタデータ） (2025-04-23T04:19:52Z)
• Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
  チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。 自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。 提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
  論文  参考訳（メタデータ） (2025-02-27T14:14:50Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement [6.035020544588768]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。 議論の正確な境界を求める際に, LLM が直面する課題に対処するために LEAFER を導入する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
  自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。 本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。 実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
  論文  参考訳（メタデータ） (2023-05-22T18:54:35Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。