こちらを読んで、コードを写してみた。 ライブラリーを使わずにPythonでニューラルネットワークを構築してみる - Qiita
dot
内積演算を行う。
z1 = X.dot(W1) + b1
tanh
双曲線関数の一種。
a1 = np.tanh(z1)
exp
指数関数。
exp_scores = np.exp(z2)
sum
行列の和。
行列の行毎,列毎の和を求める (Numpy) | mkacky
probs = exp_scores / np.sum(exp_scores, axis=1, keepdims = True)
zero
要素がすべて0の行列。
power
累乗。
正則化(regularization)
よくわからんが、オーバーフィッティングを防ぐおまじないっぽい。 オーバーフィッティングと正則化 - Qiita