Интерисует самый общий вопрос - как решается проблема большого количества данных в распределенных системах. Я имею ввиду данные которые получаются в результате расчетов или проведения реальных экспериментов, но которые нет возможности передавать по сети или хранить в БД. Чтобы было понятнее привиду пример Большого адронного коллайдера: Поток данных с детекторов выдает около 300 ГБ/с, затем отфильтровываются «интересные события», в результате чего «сырые данные» составляют поток около 300 МБ/с. Т.е. они просто отбрасывают часть данных и на обработку попадает в 1000 раз меньше. Хотелось бы узнать решаются ли данные проблемы как-то еще или если знаете привидите пожалуйста еще какие-нибудь примеры где генерируется большой объем данных, но для обработки остается (передается, хранится)лишь малая часть.
Войти
Форум
Общие разговоры
