Для несформованого ринку рішень і послуг «обчислень в пам'яті» (in-memory computing) компанія Western Digital розробила сімейство накопичувачів Ultrastar DC ME200 Memory Extension Drive. Підкреслимо, у найменуванні новинки ви не побачите звичної абревіатури SSD. З точки зору Western Digital — це саме «розширювач» ОЗУ, а не звичне всім пристрій для довготривалого зберігання даних. Зовні новинки неможливо відрізнити від SSD у виконанні PCIe-адаптер або накопичувача у форм-фактре U. 2. Але логіка роботи накопичувачів Memory Extension Drive зовсім інша і вимагає іншого підходу з боку розробників програм і операційних систем.

У компанії Western Digital заявляють про сумісність із Memory Extension Drive з Linux 64-bit OS, RHEL 6.5, 6.6, 6.7, 6.8, 6.9, 7.0, 7.1, 7.2, 7.3, 7.4, SLES 11-SP4, 12, 12-SP1, 12-SP2, Fedora Core версії від 4 до 27, Open SuSe версій 10 і 11, Ubuntu Server версій від 16.04 до 17.10 і Debian 9.5.0. Драйвери і утиліти створюють платформу для адресації до віртуальної програмно-конфігурована пам'яті, де немає відмінності між модулями DRAM і SSD з підтримкою протоколу NVMe. Тим самим умовно скільки завгодно великий масив даних можна завантажити і обробити в пам'яті, де для програмного забезпечення немає відмінності між модулями DRAM і накопичувачами SSD.

Для того, щоб накопичувачі Memory Extension Drive працювали з продуктивністю, близькою до продуктивності оперативної пам'яті, а в іншому випадку весь цей город не має сенсу, розробник задіяв понад 20 алгоритмів кешування, пророкування розгалужень і інші механізми для згладжування проблем, пов'язаних із затримками звернення до SSD. При цьому Western Digital наполягає, що проблему стирання межі між SSD і DRAM в основному повинні вирішувати спеціальні алгоритми машинного навчання. Поодинці компанія не потягне весь коло завдань і закликає спільноту розвивати програмну інфраструктуру для накопичувачів Memory Extension Drive.

Як впевнені в компанії, накопичувачі Memory Extension Drive добре підходять для вирішення наступних завдань: для мережевого журналируемого сховища даних Redis, для сервісу кешування даних Memcached в оперативній пам'яті на основі хеш-таблиці для баз даних, In-Memory, для сховищ даних, для IoT-платформ, для потокової аналітики, для Apache (Spark, Storm, Kafka), для розподілених баз в пам'яті для додатків з кешування, для розподіленого контенту (CDN), для послуг SaaS, для аналітики як сервісу, AI/ML і сервісів з масивним журналюванням.

На момент анонсу компанія поставляє обраним клієнтам накопичувачі Ultrastar DC ME200 Memory Extension Drive у вигляді моделей об'ємом 1 Тбайт, 2 Тбайт і 4 Тбайт. Полку висотою 1U вмістить досить накопичувачів у форм-факторі U. 2, щоб надати користувачеві 24 Тбайт «майже пам'яті DRAM». Наскільки будуть великі втрати від роботи такої віртуальної пам'яті? За даними WD, якщо взяти за чисту продуктивність звернення до 786 Гбайт DRAM, швидкість роботи якого оцінюється на рівні 1,080 млн транзакцій в секунду, то мікс 3:1 (576 Гбайт Ultrastar і 192 Гб DRAM) просяде до 91 % продуктивності або до 983 тис. транзакцій, а при співвідношенні 7:1 (672 Гбайт Ultrastar і 96 Гбайт DRAM) продуктивність знизиться до 85 % або 918 тис. транзакцій в секунду. Досить цікаво, але за це проголосує індустрія, поки незрозуміло.