論文の概要: Think Multilingual, Not Harder: A Data-Efficient Framework for Teaching Reasoning Models to Code-Switch

• arxiv url: http://arxiv.org/abs/2604.15490v1
• Date: Thu, 16 Apr 2026 19:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.638003
• Title: Think Multilingual, Not Harder: A Data-Efficient Framework for Teaching Reasoning Models to Code-Switch
• Title（参考訳）: マルチ言語を思い浮かべる - コードスイッチに推論モデルを教えるためのデータ効率のよいフレームワーク
• Authors: Eleanor M. Lin, David Jurgens,
• Abstract要約: 我々は,大規模言語モデルにおける有益なコード切替推論行動を特定するための,言語的かつ行動的に動機付けられたファインチューニングフレームワークを紹介した。 まず、さまざまなモデル、言語、タスク、ドメインからの推論トレースのデータセットを分析し、既存の推論モデルに見られるコードスイッチングの振る舞いのタイプを理解する。 我々は、既存のモデルで有用な振る舞いの観察に基づいて、推論モデルにコードスウィッチを教える微調整の介入を開発する。
• 参考スコア（独自算出の注目度）: 24.894866118925847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in reasoning capabilities have enabled large language models to solve increasingly complex mathematical, symbolic, and logical tasks. Interestingly, while reasoning models are often trained to generate monolingual text, these models have also been observed to code-switch (i.e., mix languages). Prior works have either viewed code-switching as an undesirable error, attempted to control code-switching through modifications to input prompts or the output decoding process, or focus on narrow subsets of languages, domains, tasks, and models. We address these gaps by introducing the first linguistically and behaviorally motivated fine-tuning framework for identifying beneficial code-switched reasoning behaviors in large language models and teaching these models to code-switch more effectively for reasoning. First, we create and systematically analyze a dataset of reasoning traces from diverse models, languages, tasks, and domains to understand the types of code-switching behaviors found in existing reasoning models. Then, we develop fine-tuning interventions that teach reasoning models to code-switch based on our observations of helpful behaviors in existing models. We find that our framework can significantly increase beneficial code-switched reasoning behaviors in a data-efficient manner. Interestingly, we also find that code-switching behaviors in reasoning models can be modified by fine-tuning for tasks that do not directly demonstrate code-switching in reasoning (e.g., machine translation). Our work suggests that data-efficient interventions can instill helpful forms of code-switching behavior in reasoning models.
• Abstract（参考訳）: 近年の推論能力の発達により、大規模言語モデルはますます複雑な数学的、記号的、論理的タスクを解けるようになった。 興味深いことに、推論モデルは単言語テキストを生成するためにしばしば訓練されるが、これらのモデルはコードスウィッチ(ミックス言語)にも観察されている。 以前の作業では、コードスイッチングを望ましくないエラーと見なしていたり、入力プロンプトや出力デコードプロセスの変更によるコードスイッチングの制御を試みたり、言語、ドメイン、タスク、モデルの狭いサブセットにフォーカスしたりしていた。 これらのギャップに対処するために,我々は,大規模言語モデルにおいて有益なコードスイッチによる推論行動を特定するための,言語的かつ行動的に動機付けられた初歩的な微調整フレームワークを導入し,それらのモデルに推論をより効果的に教えることによって,これらのギャップに対処する。 まず、既存の推論モデルに見られるコードスイッチングの振る舞いのタイプを理解するために、さまざまなモデル、言語、タスク、ドメインからの推論トレースのデータセットを作成し、体系的に分析する。 そこで我々は,既存のモデルにおける有用な行動の観察に基づいて,推論モデルをコードスウィッチに教える微調整の介入を開発する。 当社のフレームワークは,データ効率のよいコード変更による推論行動を大幅に向上させることができる。 興味深いことに、推論モデルにおけるコードスイッチングの動作は、推論におけるコードスイッチングを直接示さないタスク(例えば機械翻訳)を微調整することで修正できる。 我々の研究は、データ効率のよい介入が推論モデルに有用なコードスイッチング行動をもたらすことを示唆している。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
  大規模言語モデル(LLM)では、コードと推論が互いに強化される。 コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。 我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:55:42Z)
• VisualCoder: Guiding Large Language Models in Code Execution with Fine-grained Multimodal Chain-of-Thought Reasoning [10.70881967278009]
  ビジュアル制御フローグラフ (CFG) を用いたマルチモーダルチェイン・オブ・ワットスニペット (CoT) 推論を統合することで,コード推論を強化する,シンプルかつ効果的なアプローチである VisualCoder を導入する。 我々は,参照機構によるマルチモーダルCoT統合の課題に対処し,コードと実行経路の整合性を確保し,プログラム動作予測,エラー検出,出力生成の性能を向上させる。
  論文  参考訳（メタデータ） (2024-10-30T19:07:01Z)
• Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback [14.938401898546553]
  本稿では,大規模言語モデルの推論ステップを表現するために,半構造化形式を提案する。 具体的には、人間だけでなく、マシンフレンドリで、自然言語よりも容易に検証できる関係を使います。
  論文  参考訳（メタデータ） (2024-06-25T18:21:00Z)
• Do Large Code Models Understand Programming Concepts? Counterfactual Analysis for Code Predicates [32.93686693752635]
  大規模言語モデルによるテキスト生成の成功により、コード生成やコーディングタスクも改善された。 このギャップを埋めるためには、基礎となるプログラムの論理構造をどの程度の自己回帰モデルで理解するかを探索する。
  論文  参考訳（メタデータ） (2024-02-08T06:48:01Z)
• Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
  大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
  論文  参考訳（メタデータ） (2023-10-09T06:54:02Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。