激活函数

---

relu
       simgmoid
       tanh
       Leak relu
       binary_crossentropy	

relu

sigmoid 逻辑回归

tanh

Leak relu

==交叉熵 keras 使用binary_crossentropy==

在 Keras 的二元交叉熵损失函数（tf.keras.losses.BinaryCrossentropy，下面简称为 bce）中，有 from_logits 这个参数。在使用时需要分下面 2 种情况：

1.如果输入给 bce 的是一个 logit 值（值域范围 [-∞, +∞] ），则应该设置 from_logits=True 。
2.如果输入给 bce 的是一个概率值 probability （值域范围 [0, 1] ），则应该设置为 from_logits=False 。

多分类问题使用

-categorical_crossentropy(label独热编码)
-sparse_categorical_crossentropy(label选用数字编码)

来计算softmax的交叉熵