ElasticWarehouse (wcześniej EffiStorage) jest rozproszonym repozytorium plików z możliwością efektywnego ich wyszukiwania. System pozwala przechowywać dowolne typy plików przy czym typ pliku determinuje możliwe sposoby wyszukiwania. Na przykład, w  przypadku dokumentów tekstowych, prezentacji czy Microsoft Word możliwe jest efektywne wyszukiwanie po ich treści, a dla zdjęć wyszukiwanie po geolokalizacji czy wymiarach. Aktualnie pracujemy nad wyszukiwaniem z rozpoznawaniem twarzy.

 

Architektura

ElasticWarehouse może być zainstalowany praktycznie na dowolnej ilości oraz typie komputerów w sieci (także w środowisku wirtualnym). Każdy z komputerów wchodzi wówczas w skład klastra usługi ElasticWarehouse oraz będzie przechowywał cześć plików dostępnych w klastrze. Dzięki rozproszonemu repozytorium efektywność wyszukiwania bądź dostępu do plików jest najbardziej efektywna, gdyż w procesie bierze równolegle zawsze kilka maszyn a nie tylko jedna. Dodatkowo ElasticWarehouse jest odporny na awarie w postaci utraty  jednego z komputerów wchodzącego w skład klastra. Dzieje się tak dzięki mechanizmowi repliki, czyli przechowywania kopii tego samego pliku zawsze na dwóch lub większej ilości maszyn (nigdy tych samych). Tak wiec awaria jednego z serwów nie dość że nie powoduje przerwy w działaniu systemu, to również pozwala na automatycznie odbudowanie bazy plików po podłączeniu nowego serwera dzięki danym zgromadzonym na pozostałych maszynach wchodzących w skład klastra.

Rysunek poniżej ilustruje klaster złożony z czterech serwerów, gdzie na każdym z nich został zainstalowany ElasticWarehouse. Jak widać każda instancja komunikuje się ze wszystkimi pozostałymi zapewniając ciągłość pracy systemu. Dostęp do ElasticWarehouse odbywa się poprzez protokół HTTP/HTTPS, a dzięki odpowiednim rozszerzeniom exploratora Windows zarządzanie plikami może być realizowane w standardowy sposób jak do regularnego systemu plików (pozwala to na łatwą migrację dowolnej aplikacji - zamiast zapisywać dane w lokalnym systemie plików, aplikacja może wykorzystywać ElasticWarehouse).

ElasticWarehouse współpracuje również z Hadoop poprzez Hbase. W konfiguracji opartej na Hadoop ElasticWarehouse przechowuje wyłącznie meta-opisy niezbędne do wyszukiwania, a oryginalny plik przechowywany jest w rozproszonym systemie plików hdfs. Dzięki temu znacząco zostaje podniesiona zostaje wydajność dużych klastrów  (w sensie wielkości lub obciążenia ilością requestów) . Małe i średnie klastry do kilkunastu TB oraz mniej niż 10 requetsów/s zasadniczo nie wymagają integracji z Hbase/Hadoop.

ElasticWarehouse nie wymaga zakupu bądź instalacji na drogim sprzęcie. Zdecydowanie lepsze wyniki uzyskuje się instalując ElasticWarehouse na większej ilości małych maszyn niż jednym drogim serwerze.

 

Najważniejsze cechy ElasticWarehouse

  • skalowalność,
  • mechanizm wersjonowania plików,
  • repliki oraz mechanizm automatycznego backupu
  • dostęp do plików poprzez HTTP/HTTPS
  • fault tolerance,
  • brak konieczności zakupu drogiego sprzętu,
  • full text search, geo search, meta search

 

Zamów produkt ElasticWarehouse 

Formularz kontaktowy

Wysyłając formularz kontaktowy wyrażam zgodę na przetwarzanie danych osobowych w zakresie podanym w formularzu kontaktowym w celu przygotowania i przekazania mi odpowiedzi na moją wiadomość.

Adres

BigDotSoftware
ul. Strzelców 42/7
Gdynia, 81-586
(+48) 691-518-599
 
This email address is being protected from spambots. You need JavaScript enabled to view it.
NIP: 584-242-77-47
Regon: 222075150

Dołącz do nas