八股文背诵001：SE-Block、LR回归、对偶问题

¶SE Block

通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。

代码：

class SE(nn.Module):
    REDUCTION = 4

    def __init__(self, max_channels, mbtest=False):
        super(SE, self).__init__()

        self.max_channels = max_channels
        self.reduction = SE.REDUCTION

        num_mid = self.max_channels // self.reduction

        self.fc = nn.Sequential(OrderedDict([
            ('reduce', Conv2d(self.max_channels, num_mid, 1, 1, 0, bias=True)),
            ('relu', nn.ReLU(inplace=True)),
            ('expand', Conv2d(num_mid, self.max_channels, 1, 1, 0, bias=True)),
            ('h_sigmoid', nn.Hardsigmoid(inplace=True)),
        ]))

    def forward(self, x):
        y = x.mean(3, keepdim=True).mean(2, keepdim=True)
        # reduce
        y = self.fc(y)
        return x * y

来自论文：‘

https://arxiv.org/abs/1709.01507

¶逻辑斯蒂回归

就是想把线性回归用到分类上去，加了一个sigmoid，然后用交叉熵做损失函数。

背诵内容：

¶逻辑斯蒂分布：

二项模型和几率：

¶参数估计：