論文の概要: Causality can systematically address the monsters under the bench(marks)

• arxiv url: http://arxiv.org/abs/2502.05085v1
• Date: Fri, 07 Feb 2025 17:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:33.234524
• Title: Causality can systematically address the monsters under the bench(marks)
• Title（参考訳）: 因果性はベンチの下のモンスターに体系的に対処できる(マーク)
• Authors: Felix Leeb, Zhijing Jin, Bernhard Schölkopf,
• Abstract要約: ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
• 参考スコア（独自算出の注目度）: 64.36592889550431
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effective and reliable evaluation is essential for advancing empirical machine learning. However, the increasing accessibility of generalist models and the progress towards ever more complex, high-level tasks make systematic evaluation more challenging. Benchmarks are plagued by various biases, artifacts, or leakage, while models may behave unreliably due to poorly explored failure modes. Haphazard treatments and inconsistent formulations of such "monsters" can contribute to a duplication of efforts, a lack of trust in results, and unsupported inferences. In this position paper, we argue causality offers an ideal framework to systematically address these challenges. By making causal assumptions in an approach explicit, we can faithfully model phenomena, formulate testable hypotheses with explanatory power, and leverage principled tools for analysis. To make causal model design more accessible, we identify several useful Common Abstract Topologies (CATs) in causal graphs which help gain insight into the reasoning abilities in large language models. Through a series of case studies, we demonstrate how the precise yet pragmatic language of causality clarifies the strengths and limitations of a method and inspires new approaches for systematic progress.
• Abstract（参考訳）: 経験的機械学習の進歩には有効かつ信頼性の高い評価が不可欠である。 しかし、ジェネラリストモデルのアクセシビリティの向上と、より複雑でハイレベルなタスクへの進歩により、体系的な評価がより困難になる。 ベンチマークはさまざまなバイアスやアーティファクト、あるいはリークによって悩まされる一方、モデルは、十分に調査されていない障害モードのために不安定に振る舞います。 このような「モンスター」のハファザード的な扱いや矛盾した定式化は、努力の重複、結果への信頼の欠如、そしてサポートされていない推論に寄与する。 本稿では,これらの課題を体系的に解決する上で,因果関係は理想的な枠組みであると主張している。 アプローチで因果仮定を明示することにより、現象を忠実にモデル化し、説明力で検証可能な仮説を定式化し、分析に原則化されたツールを活用することができる。 因果モデルの設計をより容易にするために,因果グラフにおけるいくつかの有用な共通抽象トポロジ(CAT)を同定し,大規模言語モデルにおける推論能力の把握に役立てる。 一連のケーススタディを通じて,因果関係の正確かつ実践的な言語がメソッドの強みと限界を明確にし,体系的な進歩に新たなアプローチを導出する方法を実証する。

関連論文リスト

• Reasoning Inconsistencies and How to Mitigate Them in Deep Learning [4.124590489579409]
  この論文は予測的不整合を検出し定量化する2つの技術に貢献している。 トレーニングデータのバイアスから不整合を緩和するため,本論文では,データ効率のよいサンプリング手法を提案する。 最後に、この論文は、複雑な推論タスクのためにモデルを最適化する2つのテクニックを提供する。
  論文  参考訳（メタデータ） (2025-04-03T13:40:55Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems [92.89673285398521]
  o1のような推論システムは、複雑な推論タスクを解く際、顕著な能力を示した。 推論モデルをトレーニングするために、模倣、探索、自己改善のフレームワークを導入します。 提案手法は,産業レベルの推論システムと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-12T16:20:36Z)
• Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
  利用可能な最大規模でトレーニングされた最先端モデルの機能と推論能力の劇的な破壊を実演する。 モデルは、問題の解決に影響を与えない、微妙な問題バリエーションでさえも強い変動を示すため、その分解は劇的である。 これらの初期観測は、現在世代の大言語モデルが主張する能力の再評価を急激に促すものである。
  論文  参考訳（メタデータ） (2024-06-04T07:43:33Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• When and How to Fool Explainable Models (and Humans) with Adversarial Examples [1.439518478021091]
  説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。 まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。 次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-05T11:20:55Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。