Spark将数据放在jvm堆外导致无故卡死思路实现与问题产生咱们内存计算小组陆博的文章Deca经过一年的努力终于中了vldb,作为其中参与了一些微小的工作的男人,虽然对其中一部分细节不是太清楚,因为这个Deca系统的开发涉及到将近5个人,我的工作囊括一下就是: 1.完成了其中UDF的转换,将方法的操作转为对字节数组的操作; 2.手写了Deca的手动版的代码,就是利用Deca的思想对Spark应用的代码进行改造; 3.进行了大量的测试并统计GC时间,stage时间等相关数据. 其实Deca系统的 ...

看过一段访谈,一个摇滚乐队主唱的访谈,这个人叫邓斐,乐队名字叫寂寞.夏.日.曾经有一段时间疯狂地听他们的歌.他谈到他们的歌《这个易同化的民族》时说道: "我们正在被对权力的卑躬屈膝同化,正在被对文化和艺术弱智的认知同化,我们拿来从不消化甚至不知何物就充当自己, 我们做事不认真不努力随后从不自我反省反而学会相互制约和压制欺骗,我们正在被机会主义同化从无察觉..." 他想批判的很多,在其歌词中也可见一斑,他在我眼中算得上摇滚界的当代杜甫.这里要说到摇滚是什么,窦唯曾经说过:对于摇滚没有必要给 ...

比赛的简单总结参加天池是被裴师兄安利的,这个很重要.在我眼中,裴博代码一直是写得飞起的那种,就是一边用B站放着billboard榜单,一边在那啪啪啪敲着代码,这看起来绝对很酷.所以我内心是崇拜他的,至少在技术上,他很刻苦,表现在很多方面.在此不一一赘述,因为我并不想在这开表彰会.他告诉我参加这个比赛会收获很多,我当然无条件相信,他当时参加的是机器学习相关的比赛.上半年正好有一场预测音乐播放量的比赛,我便屁颠颠地参加,对机器学习一窍不通,于是便慢慢学,特征,建立模型,训练.耗时一个半月,纯模型效果 ...

之前也曾试图在网页写博客，但由于觉得博客网站形式大过实际意义就没怎么更新过。不过偶然的机会我发现，形式往往可以给我更多的动力或者动机去写东西。而且开始意识到写东西是真的可以带来乐趣的，我不想有一些想法过上一段时间就在我脑中死去，我得想办法把它记录下来。而这是一个很不错的办法。我不会只写技术内容，也会写一些心中所想和灵感，即使不能全部“刻录”下来，能写点总比不写好嘛。你说是吧。