微调

1.

我们知道进化论是说,生物因为环境的因素而调整自身结构。调得好的就生存下来,调坏了就灭绝。久而久之,成了我们今天看到的这样。

反对进化论的,有一个观点是这样说的。就看我们人类吧,有消化系统,从口腔到肛门。假设我们是从一个没有消化系统的生物进化而来的。但进化的路径是什么呢?先进化出一个口,然后食道,然后胃,一直下去,直到肛门?这样进化有一个致命的弱点:在整个系统进化完成之前,其他的零件都是毫无作用的。但维护这些器官需要很多能量啊。进化过程又是那么的长,人类恐怕早就别的物种灭掉了吧。

很有道理。

2.

我们希望用机器学习的方法写文章。机器学习的模型,无非是些参数,而学习的过程,是参数在微调。这产生了一个问题:文字是离散的。

比如我本来生成的文章是“今天是星期二”。你怎么微调?“昨天是星期一”?那如果文字本身没有数、序等概念,比如“小明吃西瓜”,又怎么微调呢?实际中,每个字或者词,都有一个向量来代表。向量是可以微调的,比如你将(1,3) 变成 (1.1, 2.9). 然而问题还是存在,不是每个向量都对应着字的。(1,3)可能对应着西瓜,但(1.1, 2.9)却什么都不是。归根结底这还是文字的离散性导致的。图像处理就没这毛病。

怎么办?

一种解决的办法是,我们用一个叫做policy的东西去生成文章,而这个policy是有参数的。当我们微调的时候,我们不微调文字,而是微调policy中的参数。无论哪个参数,policy总是可以生成文章。这就解决了文字离散这个问题。

如果打个比方,就好像水从山顶往下流。你改变它一点点初始的方向,它就顺着完全不同的一条轨迹流下来。这初始的方向,就好比policy的参数,而水流的轨迹,就是policy生成的。

说起来简单,实现当然是复杂的。不表。

3.

回到进化论。上面的反对意见,是因为对“微调”有错误的假设。假设一个生物从没有消化系统进化到有,我不认为它会逐个器官进化出来,而是整个系统进化出来。一开始很弱,比如食道只有发丝这么细,但一直到肛门都是存在的。慢慢这些器官变大,同时已经可以吸收一些简单的营养,作简单的消化,简单的排泄。也有生物走错路的,比如将肛门长了在胸部,使整个消化系统很短,吸收营养效率很低,或者出各种幺蛾子(说不上来具体,我毕竟不是学这个的。。),而人类,在获得相对合理的消化系统位置以后,营养吸收效率提高,于是有了更多能量去进化,慢慢将胃变成我们今天这个样子,肠子变得越来越长,等等,又终于生存到了今天。

听上去还算靠谱吧。

4.

如果我们将以上理论的场景,放到商业上,结论应该是明显的。开公司的时候,我们不能先做好一个局部,而不管其他。除非你是富二代,不然你的资源往往有限。你必须将整个链条搭全(当然某些部分你可以跟人合作或在市场上买卖来获取),每部分不强但都刚好能用。整个链条于是开始给你提供利润(或者某种形式的成绩,让你可以骗来更多的funding),然后你用这些利润将它做得越来越完善。

廣告

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s

%d 位部落客按了讚: