¶Softmax

大家都知道softmax是什么，但是我们谈论softmax时一般会默认使用 交叉熵 损失函数，所以关键在损失函数，极其导数的推导：

¶Batchnorm

之后就是找一个简单的白化，能过计算简单，同时保留信息。

所有引入 Batchnorm。

也就是：

1. 在X的每层，每个维度上作白化，也就不需要整体白化，计算复杂度大大降低。
2. 之后再跟一个linear，有一个α和β参数，保留了信息。

这些应付面试应该够了。

如果深入理解继续阅读：

https://zhuanlan.zhihu.com/p/34879333

¶Warmup

一开始模型初始化，不能用太大的学习率，否则震荡过于强烈。

而模型在看过一些minibatch对数据有了一定理解之后，就可以适当增加学习率，适当的变化模型。

而当学习到了一定程度，就需要学习率慢慢变小（decay），因为此时模型已经慢慢收敛，过大的学习率有可能让模型崩掉或达到次优性能。

¶矩阵QR分解

¶施密特方法

¶Householder变换

主要作用是镜像变化，照的镜子是与某个单位向量正交的一个平面（n-1）维，得到镜子那边的对称向量。

性质：

通过Householder，把某个x变换到与某个向量平行：

也就可以利用这个性质进行QR分解：

¶奇异值分解

例题：

粉色那里应该是1。

¶SE Block

通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。

代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

class SE(nn.Module):
    REDUCTION = 4

    def __init__(self, max_channels, mbtest=False):
        super(SE, self).__init__()

        self.max_channels = max_channels
        self.reduction = SE.REDUCTION

        num_mid = self.max_channels // self.reduction

        self.fc = nn.Sequential(OrderedDict([
            ('reduce', Conv2d(self.max_channels, num_mid, 1, 1, 0, bias=True)),
            ('relu', nn.ReLU(inplace=True)),
            ('expand', Conv2d(num_mid, self.max_channels, 1, 1, 0, bias=True)),
            ('h_sigmoid', nn.Hardsigmoid(inplace=True)),
        ]))

    def forward(self, x):
        y = x.mean(3, keepdim=True).mean(2, keepdim=True)
        # reduce
        y = self.fc(y)
        return x * y

来自论文：‘

https://arxiv.org/abs/1709.01507

¶逻辑斯蒂回归

就是想把线性回归用到分类上去，加了一个sigmoid，然后用交叉熵做损失函数。

背诵内容：

¶逻辑斯蒂分布：

二项模型和几率：

¶参数估计：

¶9月30日

昨天一天都不是很开心。

可能的原因：

• 中午只吃的蛋糕、点心、玉米，没有吃正餐。
• 发显示器没有我的，新来的大四的都有。
• 程老师似乎对我挺大意见，发微信不回，硬盘坏了想换一个，说我没有好好保存，可是我真没动过那个硬盘啊，他15年就开始用了，放办公室就没怎么关机，坏了也正常啊。
• 师兄给的期刊任务突然暂停，可能也是嫌我进度太慢吧。
• 膝盖还是一直疼，不知道会不会好。
• 工位对面来了一个新同学，拿了一个新显示器，但是也不和我们打招呼，也不知道他是谁（或许应该我先打招呼？但是社恐真的没有这个勇气欸）
• 要放假了，但是根本没有什么计划，想找个人聊一聊都没有，大家都很忙吧。
• 喝中药后，脑子有点昏昏的。
• 健身房一个推销的，办卡前殷勤的很，办卡后拿瓶水喝都不行，还找人来洗。

哈哈哈说起来确实很值得忧郁一下子哈。

昨天下午下了一会雨，大概两点多。

突然打了一个雷，然后由小到大，下面有的同学拿手遮着头紧跑两步。

有个女生插着耳机走的悠然自得，不慌不忙。

实验室楼下的树叶子特别多，风一刮小雨一吹细细簌簌地响。

以前从来不喜欢雨，但是看过《机智的医生生活》之后，觉得看看雨也不错。

但是，单说天气，还是最喜欢晴天，有一点点云彩的大晴天。

晚上回到寝室室友还在放脱口秀大会，正巧发到最讨厌的杨笠，为什么总是逃不过她。

好惨。

但是昨天睡得很早，大概十点四十多就躺下了，躺下没一会就睡着了，一直睡到五点多。

¶10月1日

国庆快乐~

似乎也挺不快乐~

早上一个室友又是7点左右就走了。

他走后又睡了一会，但是8点多也起来了。

食堂的肉夹馍真的非常非常好吃，给的肉很多，但是有点凉了。

中午回来睡觉忘记订闹钟。

其实三十分钟左右醒来了，但是毕竟是国庆节吗，接着睡！

睡得昏天黑地，做了两层梦。

第一层在家里，在太阳穴附近贴了膏药，但是怎么贴怎么掉，一直整不好。

然后醒来之后发现在工位。

李沛尧抽出两个手指问我是几，我说二逼你别闹。

他和师兄都松了一口气说万幸我没事。

但是突然感觉身上特别冷，别人都穿了很多但是我只穿了个裤衩。

一瞬间躺下去，又醒过来，花了两三秒才意识到自己在寝室。

醒来还是没有其他事情，接着去工位吧。

晚上读完了公元416和公元417年，宋武帝刘裕大杀四方。

但是拿下长安之后没有继续镇守，而是回到了江南，大概率应该是没有保住关中。

否则也没有那句

斜阳草树，寻常巷陌，人道寄奴曾住。 想当年，金戈铁马，气吞万里如虎。

老子牛逼儿傻蛋，东晋南北朝似乎全逃不脱这个怪圈。

权力交接永远出现大问题。

巧的是，走时候肖佳文似乎实验跑通了，用addernet做silency似乎又快又好，起码一篇顶会。

一个小我一届的都有成果了。

我还跟这打工呢。

而且打工都没啥进展，哈哈哈哈。

¶困难

什么时候想什么问题。

有这些困扰也还是在这几天腰恢复的还不错的情况下。

一定不能懈怠。

腰病再犯要考虑的就不是上面那些无病呻吟，就是真真正正的痛苦了……

膝盖这几天慢慢走路，尽量坐电梯，靠墙做蹲起，吃钙片，喝牛奶，感觉也好一些。

先不去打球了。

忍两周。

很快就过去了。

¶社恐

其实也有把自己尽量放开，尽量变得开朗。

尽量去修复，搞好和每个朋友的关系。

尽量去笑，尽量去讨好。

但是实在是有点累呀。

还是做社恐好咯。

该闭嘴就闭嘴吧。

有的朋友可能确实算不上朋友就不必再去讨好修复了，let it be。

吃饭就自己吃也不错嘛。

戴上耳机就没必要进来一个人打一个招呼。

装看不见咯。

说实话带上耳机放海盗歌suger等嗨歌看论文真滴好爽，效率直线上升杠杠的。

程老师不喜欢就不喜欢吧。

反正也不读博了。

显示器没有就没有吧，就一个小的也不是不能用。

没人聊天的时候戴上耳机听听嗨歌打打皇室战争，也挺好嘛。

¶最后

很久没有这么强的倾诉欲，喀喀喀写了这么多。

11点啦，也该睡了。

明天早上喝一杯瑞兴咖啡，机医里几乎每集必喝咖啡。

试一杯拿铁！看看明天一整天是不是还会头晕！

哈哈哈哈有点小变化还是有点小期待的，不错！

洗漱！睡觉！

虽然不知道谁会看到这里，大概只有李沛尧吧？

不过不管是谁，祝你也有个元气满满的一天！

奥里给！

¶天气

见鬼的天气。

一会冷一会热。

连绵的还下了几天小雨，阴糟糟的。

¶学习

上的这些课。

都水的不行。

太水了

这就是大海啊。

但是师兄给的任务还好。

刘老师分配的内容也还行。

顺带还赚了一笔外快，挺不错。

¶身体

最近感觉身体似乎有一点点变好。

不会有很疼的情况。

坐久了还是会不舒服。

蹲坑还是蹲不久。

周末试试去健身，看看还会不会痛。

¶娱乐

《失控玩家》还挺好玩的，可惜前置的计算机知识，让整个观影过程有些出戏。

另外，这么酷的片要是能和对象在影院看得多刺激。

《机智的医生生活》

看多了其实也没那么好看了。

主要是时长太长了，每集110分钟，快俩小时，要命啊。

感觉李翼俊这种机灵的，从最早就知道自己妹妹和好兄弟的事了。

每对cp从第一集就能看出来，但是看到第十集才刚刚牵了个手……

也许这就是韩剧吧。

《回到过去变成猫》

常阔强烈推荐。

但是看到10%，仍然只是一家子的日常，没有看到主线剧情。

难道整本书都是日常吗？

《通鉴》

肉食者鄙

¶时事

奥特曼禁了又解禁。

华为公主回国了。

比特币大跌。

师兄们要去valse了。

十一竟然要放假了，还是放七天……

炖牛肉卷葱油饼真好吃。

桂圆餐厅很棒啊，可以常去。

¶天气

逐渐变冷，要穿长袖了

¶大事记

开学了，有两个新的室友，还挺开朗的。

想常阔了。

也不知道曹液波毕没毕业。

如果没毕业的话，在泰达应该好好好好好孤单的吧。

¶身体

身体感觉还好，每次游泳都会恢复一点。

但是每次走路久了或者坐稍微久一点就会痛一点。

但都是一点点，就还好。

¶这里

好久没在这里更新东西了。

乱七八糟的不知道自己在写些什么东西。

要开学了。

小学，初中，高中，本科，研究生。

最后一次入学。

也没什么好感慨的。上就完了。

半夜起来干死一只蚊子。

健身房要明天才开始营业。

开学典礼定在后天。

晚上从食堂出来看见了三只小猫。

偏偏我又没带着猫粮。

小程今天没来上班。

师兄给的任务挺难。

李沛尧有三个师姐。

我没有一个师姐或师妹。

酸梅汤很解渴。

有一周过去了。

¶实在忍不住了

没有调研就没有发言权，我竟然捏着鼻子看完了她的所谓脱口秀。

首先罗永浩的反应以及后续一系列场上评价已经有些弯弯绕了。

单单评价她的内容。

因为我有一个同学觉得郭德纲的某些内容也是充满了调侃污秽，既然郭可以被接受，火，为什么杨笠不可以？

首先。不知道同学听了这么多相声，有没有听到郭几乎每次都感谢衣食父母，感谢观众，感谢给他买票的这些人。

同时多次强调演员在台上不能戴手表，戒指，亦即不可炫富，因为演员所有的“富”都是观众给的。

反观杨笠在台上，几分钟一个广告，还不断吹捧自己多有钱。

我直接好家伙？？？？？？？

另外，这位同学强调脱口秀本来就是冒犯的艺术，调侃无可厚非。那相声是不是渊源更久的调侃艺术？相声不仅调侃，讽刺，而且会温和的掌控火候。

老郭明显在台上说过，我们不能拿观众开玩笑，我说我跟台下那大哥他媳妇有一腿？行吗？不行，所以只能说于谦，说侯爷，说李靖，说李菁的妹妹。自己拿自己开玩笑，自己讽刺自己。这是所有风趣幽默的最基本前提。

你看谁吃饭前讽刺一下谁谁成绩不好，长得太丑？讽刺自己叫幽默，讽刺别人，尤其是范围攻击，那就叫人身攻击。

其次就到了杨笠自以为最高明的逻辑陷阱。

是你自己对号入座的，是你自己撞枪口上来的，嘿，老娘可没说你！

这种逻辑在无数知乎高赞里面都快戳漏了，但是还有无数无数人，拿着这种言论，来aoe攻击。

另外，还有一个黑点属于，可能杨笠本人如她所说，没有所谓那些攻击本心，但是那些把她的话奉为圭臬，四处把“普信男”标签乱贴的粉丝，是越发的令人生厌。

杨笠为了赚钱而随口吐槽的一句话，竟被别人奉做真理。这种人呢，应该就是我们常说的没有主见之人，但凡是有什么能借贬低他人抬高自己的这种快捷获得快感的方式，他们就如同一群苍蝇一样嗡嗡上前。

所以我建议兄弟们别攻击杨笠了，你越是攻击她，却让某些人觉得抓住了你的痛点，就越是激昂。好好过咱自己的生活，我不违反法律，不违背道德，我是否普且信，又关他人什么事呢？

杨笠挺好的，让那些人类低质量女性在人群中更加醒目刺眼。

作者：行走的人
链接：https://www.zhihu.com/question/480481538/answer/2066698754
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

聊天的最后，那位同学把郭德纲的艺术（她被冒犯的那部分），与杨笠划等号，试图将杨笠合理化。

殊不知这是自动把杨笠的全部，等同于老郭相声里最肮脏的一部分，还不自知。

老郭的八扇屏，学电台，文章会，地理图，甚至这里我都不想继续列举了，几乎没有人不认为老郭才华惊艳的，否则他不可能如此脱颖而出。

反观笠姐呢？有人说很多嘉宾的稿子是她写的，这部分没有公开，我不知道。

单说她自己的脱口秀，气口节奏尺寸，哪一个合格了？台下的观众真的没听过线下的脱口秀吗？没去过茶馆吗？

那么多年那么多大师，马三立马季冯巩牛群姜昆刘宝瑞范宝堃，那么多艺人，弯着心眼想把笑话说好听了。

人家不学，非要学脱口秀。

你脱口秀可学到家了吗？说到底就学了个出洋相。

还有，我始终不明白文艺工作审核的真正目的所在。我理解反对情色影音的目的就是为了青少年能够健康成长。但是杨笠明显影响到了青少女的智商成长，为什么还蹦跶的那么欢快？？

最后，不好意思再拿郭老师出来。老郭现在的地位，实打实是凭借自己的能力拼出来的，从受官方打压，到把官方压着打，最后自己成为官方。除了他自己作死，没人能搬得动他。

反观杨笠，这个人是起是落完全掌握在笑果文化手里。

不说别的。就随便推一个anti-杨笠，孙倒，把所有歧视女性的论调稍微综合一下，抛出来看看观众们什么反应？

本来去年已经受气过一回，忍过去了，没想到今年还来。还是一模一样的东西，实在是忍不了了。

你杨笠那么有才华？敢不敢说点别的东西？

hetui

¶天气

两天不停的下雨，然后迎来了双彩虹。

¶随笔

最近发现，四屁原则，可以节省超过八成的精力，并杜绝一切不当舆论。

（关你屁事，关我屁事，你懂个屁，我懂个屁）

一个普通人面对一件事情至少有两种态度，憋在心里，or，表明态度。

而互联网的诞生，让第二种（表明态度）变得非常容易，同时很容易引发共情，造成更大的影响（哪怕是极端且不正确的表态）。

比如闹到天边的吴亦凡事件。

（大老爷嫖娼闹到这种地步）

比如微博“拜拜啦人间”被性侵事件。

（仙人跳+互联网+女权=网络暴力）

比如女排，女足事件。

（竞技体育，菜是原罪，圈外人无端发泄情绪，胡乱职责，有害无益）

再比如对东京奥运会的莫大非议。

（有一说一，纯路人，客观来说，不吹不黑，谁都做不到绝对客观，只不过是借着事情发泄自己的情绪）

亲眼所见自己一个同学刚刚发完朋友圈说不要谩骂奥运选手。

转手讽刺一波女排自由人阴谋论。

好家伙是不是？？？？

再次重申四屁原则。

关你屁事

关我屁事

你懂个屁

我懂个屁

¶天气

离谱的鬼天气

太离谱了。

河南郑州，新乡发大水。

天津500米外下大雨，500米内晴空万里

¶记录

¶大奉打更人

没意思极了，从收复南妖国就不好看了。

¶黑道家族

Tony 把 richie 杀了，就因为一匹马。

chris和paulie在树林里那一集太好玩了，笑爆了。

其他的感觉没啥了。

心理医生那部分剧情感觉没意思了。

¶b站

生异性吗，你们哥几。。。哥俩。

小虎

这是最好看的

¶东晋

资质通鉴开始越来越详细了。

有点跟不上了

¶热点

三屁原则：

1. 都美竹举报吴亦凡（关我屁事）
2. 明星捐款多少（关我屁事）
3. 奥运会（关我屁事）

important thing is，I 'm back!