+7 (812) 325 84 00
+7 (499) 322 07 96
23.11.2006
Одним из недавних ответов на проблему спама стал продукт Каsреrsку Аnti-Spam 3.0. Сами авторы называют его огромным шагом вперед в деле решения проблемы спама для компаний и провайдеров. Попытаемся разобраться, как работает этот продукт и в чем он действительно превосходит на голову своих предшественников.
"Прежде всего, фильтрация спама - это не продукт, а целый процесс, человеко-машинная цепочка! - протестуют Андрей Калинин, системный архитектор продукта, и Анна Власова, руководитель группы спам-аналитиков Лаборатории Касперского. - Цепочка эта состоит из нескольких звеньев - сбора спама в Интернете, работы спам-лаборатории, формирования обновлений, необходимых для работы продукта, и, собственно, самого продукта Каsреrsку Аnti-Spam 3.0, установленного у клиента.
Для того чтобы отслеживать начало новых рассылок в Сети, иметь возможность анализировать спамерские трюки для обхода фильтров, необходимо получать достаточно большие объемы спама, причем в реальном времени. Сегодня наша спам-лаборатория получает и анализирует несколько сотен тысяч спамерских сообщений в сутки. И работаем мы тоже круглосуточно, и в Новый год, и в выходные".
Лингвистическая лаборатория непрерывно занимается анализом спама. Задача дежурных спам-аналитиков - сразу же добавить сигнатуру (образец) нового спамерского письма в базы обновлений, а затем провести его глубокий анализ - выделить новые термины и фразы, типичные для спама, назначить им веса, определяющие, как продукт будет реагировать на них. Помимо этого спам-аналитики параллельно занимаются анализом формальных признаков (отправитель, получатель, путь следования и т.п.) и созданием новых правил для распознавания по этим признакам.
Те обновления, которые формируются спам-лабораторией, становятся доступными продукту, установленному у клиента, каждые 20 минут. "В новой версии 3.0 появилась и технология UDS, Urgent Detection System, позволяющая параллельно использовать второй тип сигнатур, причем в режиме реального времени! Теперь уже через секунду после обнаружения новой рассылки продукт блокирует ее, т.к. моментально получает информацию о ней", - говорит Андрей Калинин.
Наш разговор подошел наконец к самому интересному - продукту, тому, что работает на стороне компании-клиента.
Получая новое письмо, Каsреrsку Аnti-Spam всесторонне анализирует его, используя в комплексе различные методы определения спама, многие из которых не имеют аналогов в мире. Происходит это так...
Сначала письмо сопоставляется с различными публичными "черными списками" - DNSBL, DNS-based Blackhole List, в которых IР отправителя сравнивается с таковыми, хранимыми в различных DNSBL как подозрительные или однозначно спамерские. Также в версии 3.0 может учитываться авторизация отправителя по технологии SPF (Sender Policy Framework).
В дополнение к DNSBL, блокирующим спамерские IР-адреса, используется технология SURBL (Spam URI Realtime Block List), выявляющая спамерские URL в теле сообщения. Тут уже спам выявляется не по принципу "кто прислал", а "кто в письме рекламируется".
Отсутствие адреса отправителя, отсутствие или слишком много получателей, отсутствие IР-адреса в системе интернет-адресов DNS и т.д. - все это является признаками спамерского сообщения. И это третий этап проверки. "По формальным признакам, - называет его Анна. - Также учитывается размер, формат сообщения".
Четвертый шаг в процессе анализа продуктом входящего сообщения - лингвистический разбор текста. Тут проверяется наличие в письме признаков спамерского содержания - определенного набора и распределения по письму специфических словосочетаний. Причем Каsреrsку Аnti-Spam анализирует не только текст самого письма, но и вложения.
Уже упомянутые сигнатуры позволяют однозначно идентифицировать получаемое письмо с известным образцом спамерского сообщения. Самое интересное здесь - это технология идентификации графического спама. "Этот метод позволяет нам обнаружить спам даже если он представлен в виде намеренно зашумленной, модифицированной картинки", - говорит Андрей.
Каждый метод прибавляет некий вес к статусу письма, и в завершение они суммируются. Превышен порог - письмо летит в папку "Спам", письмо набрало мало баллов - доставляется адресату. На основании полученной информации письму присваивается окончательный статус (спам / неспам).
А может ли продукт ошибаться? Разработчики отвечают, что доля таких ошибок (ложных срабатываний, когда легальное письмо определяется как спам) ничтожно мала - примерно один случай на 100 тыс. сообщений, причем, как правило, попадают "под нож" пресс-релизы или массовые рассылки с рекламной тематикой: "Вообще, очень важно не обеспечить стопроцентный отсев спама, что, кстати, не так уж сложно, а соблюсти баланс, при котором 95% спама не доходит до адресата, но и ни одно важное деловое письмо не теряется. Мы в своем продукте сделали ставку на отсутствие ошибок и ложных срабатываний".
Так что же в итоге, что принесет компании или провайдеру использование этого продукта? Я запомнила слова одного из наших клиентов, внедривших продукт: "К счастью, спам для меня уже давно не является проблемой. Я установил и настроил спам-фильтр, благо его еще и вовсе не нужно регулярно подкручивать. Лишь один-два раза в неделю мне падает в почтовый ящик письмо с "Виагрой", и оно меня совершенно не раздражает. Это капля в море по сравнению с тем, что было. Для меня проблема спама решена».
Источник: ЭКСПЕРТ-СЗ, №38/2006