DataSet by SentinelOne (ранее Scalyr) — это решение для системных и SRE-инженеров, обеспечивающих работу современных приложений. Неважно, используете ли вы традиционную или микросервисную архитектуру, доставляете код на сервер один раз в неделю или несколько раз в день, вам нужно следить за своим ПО в действии и оперативно выявлять и решать возникающие проблемы.
DataSet by SentinelOne обеспечивает молниеносный сбор данных и анализ результатов запроса, а также предлагает продвинутые дашборды, алерты, уведомления и материализованные представления метрик.
DataSet by SentinelOne основан на решении Scalyr Event Data Cloud, которое создано для достижения оптимальных показателей масштабирования, производительности и стоимости. Благодаря этому можно собирать и запрашивать больше данных , достигая при этом лучшей в отрасли производительности.
Быстрый сбор и поиск
Начав логирование в Scalyr, вы сразу же увидите свои данные, а значит, их можно отслеживать в реальном времени и получать мгновенные алерты. Скорость отклика Scalyr приятно удивит вас, даже при работе с массивными наборами данных, будь то их поиск, фильтрация или визуализация. В Scalyr реализуется уникальный подход с применением специально разработанной колоночной базы данных NoSQL и инфраструктуры для параллельных облачных, что позволяет получить самые быстрые в отрасли сбор и поиск по логам.
Простота использования
Пользователи Scalyr отмечают, что это решение очень легко использовать — даже тем, у кого нет опыта работы с языками запросов. Сформировать запрос в поисковой строке можно на естественном языке, с помощью wildcard-символов или регулярных выражений. Или можно просто кликнуть на строку лога или точку на графике. Благодаря этим возможностям вся ИТ-команда может очень легко научиться пользоваться Scalyr. Вы можете обойтись без специализированных тренингов, сертификатов и ролей, которые требуются для работы с другими решениями.
Встроенные метрики и визуализации
Метрики очень важны для наблюдаемости системы, но они не должны быть тяжелодоступными и платными. Scalyr предоставляет метрики, не требуя дополнительных расходов, и извлекает их прямо из логов. Затем эти метрики визуализируются, на их основе генерируются алерты и формируются дашборды.
Движок сбора метрик непрерывно оценивает актуальность дашбордов, поэтому визуализация и алерты всегда будут соответствовать самым свежим данным о событиях.
PowerQueries
PowerQueries — это дополнение к молниеносному поиску по логам, которое позволяет преобразовывать и объединять данные на лету для их более глубокого анализа, составления подробных отчетов и эффективного алертинга. С мощным функционалом PowerQueries можно легко переключаться с фасетного поиска на более сложные операции, связанные с поиском по логам, и создавать продвинутые пайплайны обработки данных. В PowerQueries используется упрощенный синтаксис запросов и механизм обработки данных в реальном времени, поэтому пользователи, как и всегда, получают от Scalyr скорость, простоту и масштабируемость.
Мониторинг и устранение неполадок в Kubernetes
Благодаря Scalyr вы можете легко и эффективно следить за средами Kubernetes и устранять в них неполадки. Scalyr автоматически агрегирует и группирует логи при развертывании, предоставляя комплексный обзор всех сервисов независимо от того, на каком контейнере или поде они запущены. Поддержка различных видов контроллеров помогает быстро выявлять и решать проблемы, возникшие в контейнерных средах. Scalyr также отслеживает объем логов по приложениям или меткам Kubernetes, поэтому вы можете сразу понять, сколько данных генерирует каждый контроллер.
Алерты в реальном времени
Scalyr генерирует точные алерты по логам, метрикам и событиям. Устаревшие или собственные решения для управления логами вынуждают жертвовать своевременностью ради точности. В отличие от них алерты Scalyr содержат всю необходимую информацию и приходят в реальном времени благодаря молниеносному сбору и парсингу логов. Теперь у вас будут надежные алерты, а также информация, необходимая для решения проблемы.
Live Tail
Хотите непрерывно отслеживать определенный набор логов в реальном времени по мере их поступления в Scalyr?
Используйте для их представления Live Tail, чтобы легко выявить и устранить текущую проблему, не отвлекаясь. Поток событий можно запускать и прерывать для более детального изучения интересующих вас данных.
Hindsight
Scalyr Hindsight обеспечивает продолжительное хранение данных о логах и событиях, а также поиск по ним. Данные хранятся любое время по низким тарифам S3 и анализируются по цене за ТБ просканированных данных.
Hindsight работает так же быстро, как и традиционная аналитика Scalyr, и обладает такими же мощными инструментами поиска и визуализации.
Совместная работа
Переход к новейшим типам архитектуры и процессам стал причиной децентрализации инженерных команд. Отдельные сотрудники и небольшие команды несут все больше ответственности за жизненный цикл доставки своих сервисов, поэтому им нужны решения, обеспечивающие не только наблюдаемость систем и мониторинг в реальном времени, но и совместную работу. Благодаря Scalyr пользователи могут вручную или программно создавать аннотации. Само решение полностью интегрируется с популярными инструментами для совместной работы, такими как Slack. Scalyr также позволяет управлять доступом к данным, графикам и дашбордам в соответствии с вашими политиками.
Интеграции и приложения
Scalyr поддерживает разные варианты интерфейса и приложений для плавной работы в ИТ-инфраструктуре, исходя из ваших предпочтений. Scalyr работает с самыми популярными ОС, типами контейнеров, облачными платформами, БД, а также веб-серверами и серверами приложений. Scalyr интегрируется с Linux, Windows, AWS, Docker, Kubernetes, MySQL, PostgreSQL, Apache, nginx, .NET, Heroku, AppHarbor, Graphite, syslog, fluentd и др.
Двунаправленные API
Набор двунаправленных API позволяет отправлять данные непосредственно в Scalyr и там осуществлять их поиск. Благодаря этому можно извлекать необработанный текст или структурированные события из логов, а также создавать или извлекать числовые, графические данные или данные временных рядов. Еще можно управлять файлами конфигурации, ключами API, пользователями и их группами: назначать им права доступа или аннулировать их.
Scalyr Event Data Cloud (EDC) предоставляет такие же возможности API для пользователей, которые хотят разработать собственные приложения или сервисы с использованием мощной аналитики и управления данными о событиях EDC.
Безопасность и надежность
Scalyr заботится о безопасности и конфиденциальности своих пользователей, а также о доступности их данных. Агент Scalyr на Python не требует прав root, он не может получать инструкций извне, и может скрывать конфиденциальную информацию перед передачей данных. Платформа зашифровывает все внутренние и внешние соединения с помощью TLS и позволяет предотвратить переполнение буфера, инъекцию SQL-кода и межсайтовый скриптинг. Scalyr соответствует SOC-2 Type II, PCI DSS и GDPR. Сервис обеспечивает высокую доступность данных, осуществляя их непрерывную репликацию в полностью зарезервированных ЦОДах.
Хотите узнать больше об архитектуре DataSet?
Стив Ньюман, соучредитель и председатель совета директоров компании, рассказывает о происхождении и аналитических возможностях DataSet.