第43章 一二十层楼那么高 (2 / 5)
        企业微信里，被临时借调到的组织架构里，一个接一个的任务被派发了出来。

        赵元任找顾彦平报道之后，回到自己工位上，就发现自己多了三个邮件。

        “你负责把这些文本做数据清洗。”正当赵元任还在读邮件内容的时候，顾彦平走到了他身边说道。

        赵元任下意识点开链接，发现这个下载链接关联的文本足足50个TB：“这是？”

        “来自网页抓取的文本，包括了论坛，百科资料，新闻网站，问答社区等等。

        其中有一小部分是AILab他们组做过脱敏和授权处理的部分文本数据。

        但绝大部分都需要你做一遍清洗。”

        赵元任咽了咽口水：“顾组长，不是我不想干，我过去确实也干过大规模文本数据的近似重复检测。

        但重复检测只是清洗的一部分工作，一小部分。

        再说，过去就我了解的情况，像这么大体积的文本，起码也是一个五人小组一起做。

        现在就我一个人？这是不是有点为难我了。”

        赵元任的声音越来越低，但意思清晰无比。

        “不，不是为难你，你只是清洗50个TB，我要清洗100个，我要处理的数据比你更复杂。”顾彦平淡淡道。

        领导以身作则，做的还比你更多，这下你没啥话好讲。

  The content is not finished, continue reading on the next page

更多完整内容阅读登陆

《墨缘文学网，https://wap.mywenxue.org》