Забавная история из фаанга, в моём переводе:
Начальство из Amazon предложил сотруднице Вивиан Гадери или доказать свою нужность, или уйти в отставку с небольшим пособием. Доказать нужность предстояло, написав за 8 дней план по сокращению в 4 раза расходов на хранение данных по всей организации AmazonBot, занимающейся веб-краулином. Вивиан обратилась к нескольким старшим инженерам, и они сообщили, что не считают возможным справиться с этим в указанные сроки. Даже если бы это было возможно, Вивиан до этого момента не отвечала за хранение данных и у неё не было времени разобраться в существующей архитектуре. Кроме того, у неё не было инженерной поддержки. Когда она попросила начальника подсказать, как реализовать этот план в указанные сроки, он ответил, что она должна справиться без посторонней помощи.
В принципе, краулер — он же как алгоритм, с соответствующим нехитрым выбором: или ты становишься быстрее, но тратишь больше памяти, или оптимизируешься по памяти, но становишься медленнее. Тогда можно просто выбросить 3/4 хранилища, и задача решена :) А при необходимости перекраулить нужное. Ну это если забыть про то что тётю просто хотели уволить.
2024.05.11 in money