導入：線形モデルからアンサンブル学習へ

モデル選択の課題

材料インフォマティクスにおいて、適切な機械学習モデルの選択は、データの特性や背景にある現象の性質に大きく依存します。関係性が加法的であり、解釈性が最優先される場合には、線形モデルが優れています。不確実性の定量化が不可欠な小規模データセットでは、ガウス過程（GP）が理想的です。画像やスペクトルなど、多数の特徴量を含む大規模データセットでは、ディープラーニング手法が真価を発揮します。

一方で、材料開発において頻繁に直面するのは次のようなシナリオです。すなわち、中程度のサンプルサイズ（数百から数千）であり、連続値とカテゴリ値が混在する多くの特徴量を持ち、かつ複雑な非線形関係が含まれるテーブル形式の実験データです。このようなケースにおいて、勾配ブースティング決定木（GBDT）が強力な解決策として台頭しています。

なぜGBDTが注目されているのか

過去10年間で、GBDTは材料特性の予測、プロセス最適化、組成設計において広く採用されるようになりました。この普及にはいくつかの要因があります。

• 実用的なバランス：ディープラーニングのような膨大なデータを必要とせず、複雑な特徴量間の相互作用を捉える柔軟性を備えています。
• 計算効率：ガウス過程のようなカーネル法による制限を超え、良好なスケーラビリティを発揮します。
• 構造化データへの強い性能：合成ログ、組成表、実験データベースなどの扱いに長けています。
• チューニング負荷の軽減：他の手法と比較して、少ないハイパーパラメータ調整で優れた結果を出すことが多いのが特徴です。

XGBoost (Chen & Guestrin, 2016) や LightGBM (Ke et al., 2017) といった現代的なGBDTの実装は、追加の正則化、ヒストグラムベースの決定境界の探索、GPUサポートなどによって元のアルゴリズムを洗練させており、実務における主要な選択肢となっています。

アルゴリズムの基礎：ブースティングの仕組み

基本単位：決定木

決定木は、一連の二値分類（バイナリスプリット）を通じて特徴空間を分割し、予測が行われる領域を作成します。これらの分割は「温度 > 800°C」や「Ti含有量 > 30%」といった解釈可能な条件に対応します。各葉ノード（末端のノード）には予測値が含まれており、通常はその領域に該当する訓練サンプルの平均値となります。

図1. 材料特性予測のための決定木構造

ブースティング機構：逐次的な修正

単一の決定木は分散が高く、容易に過学習（オーバーフィット）してしまいます。GBDTは、多くの浅い木を組み合わせることでこの問題に対処しますが、その戦略には特徴があります。ランダムフォレストのように個々の木を独立して構築するのではなく、新しい木を現在のアンサンブルの「誤差」に対して学習させます。

プロセスは単純なベースライン（通常は訓練ターゲットの平均値）から始まり、ステップバイステップで洗練されていきます。

$$ F_m(x) = F_{m-1}(x) + \alpha \cdot h_m(x) $$

ここで、$$ h_m $$ は残差 $$ r_i = y_i - F_{m-1}(x_i) $$ に適合させた浅い木であり、$$ \alpha $$ は各木の寄与度を制御する学習率です。反復ごとに残りの誤差が減少し、初期の木が支配的なパターンを捉え、後続の木が細部の詳細を修正していきます。

学習率 $$ \alpha $$ を小さくすると、より多くの木が必要になりますが、過学習に対する強力な正則化効果が得られます。「勾配ブースティング」という名称は、残差が損失関数に対する勾配降下法の特殊なケースであることに由来しており、これにより、微分可能な損失関数であればどのようなものでも同じフレームワークで扱うことが可能です。

図2. ブースティングにおける逐次的な木の追加プロセス（2本の木を用いた簡略図）

GBDTと他手法の比較

GBDT vs. 線形モデル

LASSOなどの正則化を伴う線形モデルは、特に解釈性が重視される場合や、関係性が概ね線形である場合に、材料インフォマティクスにおいて価値のあるツールです。

• GBDTの利点：
  • 手動の特徴量エンジニアリングなしで、複雑な「特性－構造」間の相互作用を捉えることができる。
  • 相境界やガラス転移点などの急峻な不連続性を自然に扱える。
• GBDTの欠点：
  • 予測値を単純な方程式で表現できないため、物理的な洞察を抽出することがより困難である。

GBDT vs. ガウス過程 (GP)

ガウス過程は確率的な予測を提供するため、材料探索におけるベイズ最適化で人気があります。

• GBDTの利点：
  • 中規模のデータセット（200～10,000サンプル）において、学習および推論が高速
  • 高次元の混合特徴空間をより適切に処理できる
  • 目的関数の急激な不連続性に対してより頑健
• GBDTの欠点：
  • ガウス過程のような確率的出力による不確実性の定量化を欠いている
  • 滑らかさや周期性に関する事前知識を自然に組み込むことができない

GBDT vs. ディープラーニング

深層ニューラルネットワークはコンピュータビジョンや自然言語処理に革命をもたらしましたが、テーブル形式の実験データに対する優位性はそれほど明確ではありません。

• GBDTの利点：
  • 実験データに典型的な、構造化されたテーブルデータに対して優れた性能を発揮
  • ニューラルネットワークよりも少ない訓練データで済む
  • 特徴量の寄与がより解釈しやすい
  • GPUを必要とせず、高速な学習が可能
• GBDTの欠点：
  • 生の画像やスペクトル、非構造化データを自然に処理できない
  • 極めて高次元な特徴空間では効果が薄れる

材料科学者にとっての実用的なメリット

異種混合の実験データの取り扱い

GBDTは、連続変数（温度、圧力、組成比など）とカテゴリ変数（合成方法、結晶構造）が混在するデータをネイティブに処理できます。ニューラルネットワークやガウス過程で必要とされる正規化やエンコーディングを必要としません。

特徴量の重要度による解釈性

数百本の木のアンサンブルであっても、GBDTはどの特徴量が予測を左右しているかを理解するための手法を提供します。最も一般的な3つのアプローチは、それぞれ「重要度」を異なる方法で測定するため、必ずしも一致しません（図3）。

1. Split count（分割数）：すべての木を通じて、各特徴量が分割に選択された頻度を測定します。最も単純な指標で計算負荷も低いですが、高カーディナリティ（異なる値の数が多い）の特徴量を系統的に優先する傾向があります。
2. Gain-based importance（ゲインに基づく重要度）：各特徴量による分割で達成された損失（平均二乗誤差など）の平均減少量を測定します。予測精度の向上に大きく一貫して寄与する特徴量が高く評価されます。ただし、この指標は分割点が多い連続値の特徴量に偏る可能性があり、少数の非常に効果的な分割にしか現れない特徴量の重要度を過大評価することがあります。
3. SHAP値：木の構造を調べるのではなく、協力ゲーム理論の原理を用いて、個々の予測に対する各特徴量の寄与度を計算します。分割数やゲインとは異なり、SHAP値は理論的な公平性と一貫性の特性を満たしているため、最も理論的根拠の強い重要度指標とされています。グローバルな重要度は、全サンプルにおけるSHAP値の絶対値の平均として算出されます。

図3. 赤ワインの品質予測モデルにおける3つの特徴量重要度指標の比較（上位8特徴量）

miHub®のGBDT実装では、特徴量の重要度はグローバルSHAP手法を用いて計算されます。

限界とGBDTを使用すべきでない場合

外挿の境界

機械学習モデルは一般的に、訓練データの範囲を超えて外挿することができません。GBDTでも同様です。決定木は各葉ノードに訓練サンプルの平均値を割り当てるため、予測値は観測された値の範囲内に制限されます。

具体的な例：Ti含有量が4〜11%の合金で学習したモデルは、Ti含有量のみを考えると、13%における特性を信頼して予測することはできません。

注：しかし実際には、材料やプロセスは高次元の特徴量空間（ないし記述子空間）で表現されます。例えば、類似する元素を13%含む合金のサンプルと共通の記述子が存在すれば、モデルは妥当な予測を行える場合があります。この意味での制約は、単一変数における外挿ではなく、特徴量空間全体のカバレッジに依存します。

参考記事

• 物性値を活用した配合最適化〜モデルの予測精度と解釈性を向上させる特徴量エンジニアリングとは〜
• ポリマー記述子：ポリマーインフォマティクスにおける機械学習の鍵

図4. 1次元特徴空間における外挿の失敗と補間精度の比較

これは、トレンドを（しばしば誤って）外挿する線形モデルとは対照的です。実用上の教訓として、GBDTは探索済みのパラメータ空間内での補間には優れていますが、訓練データの範囲外を予測する際には注意が必要です。

ハイパーパラメータの感度とデータ要件

主要なハイパーパラメータには、学習率（小さいほど汎化性能は向上するが多くの木が必要）、木の深さ（相互作用の複雑さと過学習リスクの制御）、推定器の数、および葉の重みに対するL1/L2正則化が含まれます。

サンプルサイズが小さいデータセットでは、ハイパーパラメータを細心の注意を払って調整しない限り、GBDTは過学習を起こしやすくなります。最適なモデルはサンプルサイズだけでなく、サンプル数と特徴量の次元数のバランス、および正則化の度合いによって決まります。実務的なガイドラインとして、小規模なデータセット（例えば $$ N < 50 $$）の場合は、ガウス過程や正則化付き線形モデルなどの代替案が好ましい場合があります。

結論

GBDTは、複雑な非線形関係を持つ中規模の材料データセットにおいて、高効率なアルゴリズムとしての地位を確立しました。その主な強みは、計算速度、異種混合データの処理における柔軟性、特徴量の重要度を通じた解釈性、および混合データ型の取り扱いにあります。

その限界についても認識しておく必要があります。訓練データの範囲を超えた外挿が不可能なこと、主要なハイパーパラメータ設定に対する感度、そしてモデルとして不確実性の定量化を内在的に評価できない点には留意すべきです。

参考文献

• Friedman, J. H. Greedy function approximation: A gradient boosting machine. Ann. Stat. 2001, 29 (5), 1189–1232.https://doi.org/10.1214/aos/1013203451.
• Chen, T.; Guestrin, C. XGBoost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; 2016; pp 785–794.https://doi.org/10.1145/2939672.2939785.
• Lundberg, S. M.; Lee, S.-I. A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems 30; 2017; pp 4765–4774.https://proceedings.neurips.cc/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html.
• Ke, G.; et al. LightGBM: A highly efficient gradient boosting decision tree. In Advances in Neural Information Processing Systems 30; 2017; pp 3146–3154.https://proceedings.neurips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html.
• Cortez, P.; et al. Modeling wine preferences by data mining from physicochemical properties. Decis. Support Syst. 2009, 47 (4), 547–553.https://doi.org/10.1016/j.dss.2009.05.016.