poziomek
7/3/2007 8:51:00 PM
On 3 Lip, 22:46, poziomek <pozio...@gmail.com> wrote:
> Jest sobie produkt, aplikacja analityczna z alg. data mining.
> Aplikacja posiada cechy hurtowni danych. Cala logika liczenia
> poszczegolnych modulow znajduje sie w SQLu w procedurach skladowanych,
> po przeliczeniu agregatow dane sa zasysyane przez serwer OLAP (MS
> Analysis Services) . Warstwa prezentacji to MS Reporting Services ew.
> Excel & Pivot table. I teraz mam pytania:
> 1. Logika siedzie w procedurach skladowanych ze wzgledu na wydajnosc,
> algorytmy opieraja sie na operacjach bazodanowych stad wiadomo
> najszybciej zrobi to serwer bazy danych. Obliczenia niektorych modulow
> moga trwac nawet kilkanascie/kiladziesiat godzin.
> Zastanawiamy sie JAK sie uwolnic od balastu trzymania logiki w SQLu?
>
> Co jest powodem zmian architektury w stos. do biezacego rozwiazania:
> 1. srodowisko programowania w SQL i charakterystyka aplikacji stwarza
> problemy z testowaniem algorytmow
> 2. czasami ograniczenia SQL staje sie denerujace, vide modul
> zarzadzania obliczen poszczegolnych procesow az sie prosi wyniesc do
> warstwy wyzej z jakim jezykiem obiektowym an pokladzie.
>
> Pytania: znacie jakeis rozwiazania aplikacji analitycznych, ktore nei
> trzymaja logiki w bazie i maja zadawalajaca wydajnosc?
> Mozecie cos polecic?
>
> SPecyfika wiekszosci algorytmow jest opracaowana aktualnie stricte pod
> katem operacji na tabelach, nie bardzo widze jak to w Javie
> zaprogramowac bez sciagania milionow rekordow do warstwy aplikacji(to
> odpada wydajnosc siadzie).
>
> Zastanawialem sie wstepnei nad Gigaspaces ale na dzien dobry wydaje mi
> sie ze to zla droga, Gigaspaces zaklada ze masz problem , ktory da sie
> zatomizowac i podzielic na male kawalki i ze kazda taka paczka posiada
> swoj zestaw danych. No wlasnie to dzielenie danych na male paczki
> wydaje mi sie bezsensowne jak w aplikacji mam milion klientow i ich
> tarnsakcje to sie robi koszmar jak mam policzyc jakies statystyki
> (statystyki per client). Tzn obawiam sie ze skonczy sie to znowu
> przewalanim setek Gigabajtow danych z bazy do serwerow liczacych.
>
> Any idea?
Aha oczywiscie statystyki i agregaty per klient to tylko jeden z
przykladow grupowania, oczywiscie sa dziesiatki wyliczonych tabel
faktow dla roznych kombinacji wymiarow. I tak dal przykladu z 4 tabel
zrodlowych mozemy miec 10 tabel z agregatami w zaleznosci od
kombinacji samych miar dla ktorych chcemy pogrupowac wyniki..