02.02.2016  Новости, Открытый код/Linux

Технология Hadoop, лежащая в основе анализа больших данных, обрела широкую популярность лишь в последние пару лет. Однако первые свои шаги она сделала задолго до этого и в нынешнем году должна отметить свой десятилетний юбилей. Одним из пионеров Hadoop был нынешний главный архитектор компании Cloudera Даг Катинг, который поделился своими воспоминаниями с еженедельником InformationWeek. Все началось с разработки в 2002 г. опенсорсного поискового Web-робота Nutch, которую Катинг вел совместно с Майком Цафарелла. Программный робот должен был последовательно загружать на диск посещаемые Web-страницы, обрабатывать их и анализировать на предмет связывающих их ссылок. Работала программа довольно медленно. В распоряжении разработчиков было только пять компьютеров, и им приходилось многое делать вручную. Отсутствовали ... читать далее.