Otrzymałem wczoraj takiego maila od netart:

Kod:

Witam,

Szanowni Państwo,

Informuję, że Państwa serwer przekracza parametr bezpieczeństwa.

Platforma hostingowa współdzieli zasoby sprzętowe serwera między wielu
użytkowników, którym NetArt gwarantuje jednakowo wysoką jakość
świadczonych usług. Przekroczony został parametr bezpieczeństwa

"Maksymalna ilość danych przesłanych z/do baz danych liczona na serwer
w ciągu doby".

Więcej o parametrach bezpieczeństwa pod adresem:
http://nazwa.pl/netart-o-firmie-parametry-bezpieczenstwa.html

Proszę przełączyć domyślny cache Państwa (zgodnie z poniższą dokumentacją) aplikacji z bazy danych na system plików.

http://www.invisionpower.com/community/board/documentation.html

Najbardziej aktywna baza danych to: XXXXXX

Proszę o usunięcie lub optymalizację wadliwego skryptu/zapytań,
przetestowanie go w lokalnym środowisku oraz przekazanie informacji o wykonanych
pracach zmniejszających obciążenie zasobów serwera w terminie 14 dni od daty zgłoszenia 
problemu. W przypadku nie dokonania żadnych zmian mających rozwiązać problem usługa 
zostanie całkowicie zablokowana.

Podstawa: "Regulamin świadczenia usługi serwera w NetArt", Art. VII,
pkt. 5

W razie pytań proszę o kontakt na adres: admin@netart.pl

Wymieniona w mailu baza to baza vB

I faktycznie coś nie tak:


W zasadzie forum ruszyło na vB 2 kwietnia... (wcześniej IPB 5500 userów, 150tys. postów)

Ten ich parametr to: Maksymalna ilość danych przesłanych z/do baz danych liczona na serwer w ciągu doby - 10 GB

Co mogłem zrobić nie tak, czy może uciekać z tego hostingu?


------------------------------------------------------------------------------------------
Odpowiedź z netart:

W pliku /forum/includes/config.php

należy odkomentować linijkę

// $config['Datastore']['class'] = 'vB_Datastore_Filecache';

Proszę wprowadzić sugerowaną poprawkę gdyż cache w bazie Państwa aplikacji jest najbardziej prawdopodobną przyczyną dużego ruchu do bazy danych.

Po przestawieniu domyślnego cache'u proszę obserwować transfer ruchu w panelu Active.admin.

A może załączniki trzymasz w bazie? To daje skalowalność, ale ruch do bazy będzie ogromny (choć transfer spadnie).

Pozdrawiam

No dziś zrobiłem optymalizacje wg Max'a http://vbhelp.pl/artykua-y-faq-f22/p...-seo-t737.html która w jednym z punktów zaleca właśnie przeniesienie załączników do systemu plików.

Odhaszowałem też te filecache
Wywaliłem moda który - jak się okazało - robił niby kopię bazy co godzinę (sic!)
Ponadto trochę odchudziłem z modułów stronę główną na vB CMPS. I choć ciągle jest tam 39 zapytań to nie wygląda to źle:
Page generated in 0.76126194000244 seconds with 39 queries, spending 0.3316388130188 doing MySQL queries and 0.42962312698364 doing PHP things.

Ale i ruch chyba marny...

No i zobaczymy co mi jutro statystyki pokażą

No i pokazały...

Statystyka serwera z ostatni 30 dni


Statystyka bazy z 24h


Udało się zmniejszyć ilość zapytań o połowę, ale i tak dużo powyżej limitu :mad:

Najsmutniejsze jest to, że forum kręciło się koło limitów już w trakcie jego budowania.
Nie wiem co jeszcze mogę zrobić?

Mam sporo modów. Może to któryś z nich?

1. vBulletin 3.8.2
2. Advanced BBCode Permissions 3.0 Lets you set Usergroup Permissions for BBCode.
3. AME - The Automatic Media Embeder 2.5.4 Automatically embeds media URLs with posts
4. Automatic Thread Tagger 1.2.0 Extracts keywords from thread titles and uses these as thread tags.
5. Cyb - Advanced Forum Statistics 6.5 Cyb - Advanced Forum Statistics
6. Cyb - Auto Birthday Greeter 1.4 Cyb - Auto Birthday Greeter
7. DownloadsII 5.1.0 A Download Database for vB
8. Easy Forms 3.3 Create Forms without any hassle or fuss. Form list at misc.php?do=forms
9. Gadu Gadu IM icons 3.0 Adds GG icons
10. gXboxLive 2.2.4 Xbox Live Leaderboard
11. MGC chatbox Evo 2.3.2 Fully remade MGC Chatbox
12. Post Thank You Hack 7.7 Post Thank You Hack
13. psiStats 2009 1.5.2 Created By VisionScripts (www.visionscripts.com)
14. Radio and TV 2.0 A radio and TV stations library.
15. Separate Sticky and Normal Threads 3.0.0 Separate Sticky and Normal Threads
16. Sorky03 - SubForum List Control - V1.5.2 1.5.2 Allows extensive control of how SubForums lists are displayed (vBulletin 3.8.x)
17. vB Tournaments and Ladders 2.7.8 Tournament and Ladder Modification for vBulletin
18. vBadvanced CMPS 3.1.0 vBadvanced Content Management & Portal System
19. vBCode table 0.1.7.1 Offers a new bbcode [table]
20. vBExperience 3.8.3 Calculate activity of your users
21. vBExperience Discussion Ender 1.0.1 Gives points for discussion ender
22. vBExperience Level 2.0 vBExperience Level
23. vBExperience RadioActivity 0.1.0 This plugin allows to reduce points for threads and points for posts by multiplying it by activity. It reduces overall point value for inactive users in ranks making eXperience more dynamic.
24. vBSEO :: Sitemap Generator 2.5 Generate a Google & Yahoo Sitemap for your Forums

Albo zaplanowane zadania?

05 * * * * Cogodzinne Czyszczenie-Ten skrypt wykonuje różne czynności związane ze sprzątaniem raz na godzinę.

10 * * * * Czeki CCBill-Ten skrypt przydaje się, kiedy korzystasz na forum z płatności czekami CCBill. Łączy on się z serwerem w celu autoryzacji płatności.

10, 30, 50 * * * * Poster-Bot RSS-Czytnik z internetowych kanałów RSS. Umieszcza informacje na forum w postaci tematów lub ogłoszeń.

15 * * * * Czasowe Przywracanie Zbanowanych Użytkowników-Ten skrypt przywraca czasowo zbanowanych użytkowników. Aktualizacja następuje raz w ciągu godziny.

15, 35, 55 * * * * vBExperience-Przelicza vBExperience dla użytkowników, którzy napisali niedawno posty

00, 20, 40 * * * * gXboxLive Update-Scans all gamer cards and collects data for gXboxLive Leaderboard

20 * * * * Cogodzinne Czyszczenie #2-Ten skrypt wykonuje różne czynności związane ze sprzątaniem raz na godzinę.

00, 20, 40 * * * * psiStats 2009 Update (15-Minute Interval)-Performs a variety of vital accounting tasks.

20, 50 * * * * Czyszczenie Ostrzeżeń-Usuwanie czasowych ostrzeżeń dwa razy w ciągu godziny.

25, 55 * * * * Przypomnienie o wydarzeniach-Ten skrypt wysyła powiadomienia o wydarzeniach zapisanych w kalendarzu dwa razy na godzinę.

25 * * * * Promocja Użytkowników-Ten skrypt odpowiada za promowanie użytkowników do wyznaczonych grup. Operacja jest wykonywana raz na godzinę.

30 * * * * MGC Chatbox Evo Unban-Unban the users whom ban period is ended

30 * * * * Wyświetlenia Załączników-Aktualizacja wyświetleń (pobrań) załącznika co godzinę. Używanie tej opcji jest zalecane dla for z dużą ilością użytkowników.

56 * * * * Odwiedziny Tematów-Ten skrypt odpowiada za aktualizację liczby odwiedzin tematów jeden raz w ciągu godziny. Używanie tej opcji zalecane jest dla for z dużą ilością użytkowników.

00 0 * * * MGC Chatbox Evo Digest-MGC Chatbox Evo : Automatic removal of old chats

01 0 * * * Urodziny-Wysyłanie Emaili z życzeniami do użytkowników w dniu ich urodzin.

02 0 * * * Codzienne Przetworzenie-This script sends out new post and new thread digests once per day.

03 0 * * * Aktywacja Email-This script sends reminder emails to users in the Awaiting Confirmation usergroup. An email is sent one day after the user has registered and again at five days.

10 0 * * * Codzienne Czyszczenie-This script performs various cleanup tasks once per day.

11 0 * * * Subskrypcje-Raz dziennie ten skrypt usuwa subskrypcje, które już wygasły oraz wysyła wiadomość do użytkowników z informacją, że ich subskrypcja wkrótce wygaśnie.

12 0 * * * Codzienne Logi Statystyk-Skrypt ten aktualizuje raz na dobę statystyki dostępne w Panelu Administratora (Nowi użytkownicy, Nowe tematy, Nowe posty, Aktywni użytkownicy).

00 2 * * * vBExperience Aktywność-Przelicza ponownie PostPerDay aktywnych użytkowników

10 2 * * * vBSEO Sitemap Generator-Generate sitemaps

15 2 * * * vBSEOCreateGoogleYahooSitemap-vBSEO Create GoogleYahoo Sitemap

30 2 * * * Ordery vBExperience-Przelicz ponownie ordery dla vBExperience

45 2 * * * Auto Thread Tagger-Tags non tagged threads

00 4 * * * Ranking grup społecznościowych Experience-Przelicza rankingi grup społecznościowych

30 0 * * Pon Cotygodniowe Przetworzenie-This script sends out new post and new thread digests once per week.


Może ktoś coś z tego wywnioskuje, bo już załamuję ręce

W kronie możesz ubić coś co odpala sie o 0 i o 2. W xperience - jeżeli jeszcze tego nie masz - ustaw "Tylko aktywni użytkownicy?" na Tak. Jak optymalizować Sitemap generatora, to nie mam pojęcia. Poczekaj kilka dni (jak cię provider nie wywali), bo ściąłeś ruch, teraz musisz poczekać aż się "ustoi".

Śmiganie na granicy chyba nie jest najlepszym pomysłem...

Pozdrawiam

Odchudziłem crona, który teraz wszystko robi rzadziej.

Ilość danych przesłanych z/do baz danych liczona na serwer w ciągu doby znacznie spadła:
17.06 - 6,50GB
18.06 - 5,60GB
Połowa dopuszczalnego limitu

No i jest git, ale...

Czas procesora użyty przez skrypty PHP/CGI skoczył do 4h i 10 min, co jest wartością o 10 min przekraczającą dopuszczalny limit.

Wydaje mi się, że wiem co to... Na fali optymizmu odpaliłem (dopiero co zakupione) vBSEO, które w połączeniu z vBSEO Sitemap Generator uzurpowały sobie władzę na serwerze i chyba dzielą i rządzą na całego.

Co mogę zrobić, żeby stłumić tą vbseo rewolucję? Oczywiście nie posyłając vbseo'wian pod gilotyny

Większe odstępy czasowe między poszczególnymi zaplanowanymi zadaniami mogą skrócić czas użycia procesora?

vbseo sitemap - u mnie przy 70 000 postach na dedyku generuje mapę przez dobrych kilka minut, ale możesz to odpalać raz w tygodniu, Częściej nie trzeba

Vbseo to duży i rozbudowany skrypt, raczej z tym nic nie zrobisz. Zawsze będzie miał "duże potrzeby".

Masz dużo zainstalowanych statystyk, one powodują dużo zapytań do bazy, ciągną transfer i mogą zamulać serwer.

Takie obciążenie przy ilości modyfikacji, którą zaprezentowałeś wcale mnie nie dziwi... na dobry początek powinieneś wyłączyć lub ograniczyć dla małej ilości grup na forum MGC chatbox .
Połowę Twojego obciążenia stanowi zapewne vBSEO... no, ale z tym nic nie da się zrobić (opróćz odinstalowania, które nie wchodzi w grę, miałeś cel w instalacji tego dodatku).
Spróbuj manewru z Chatboxem, to powinno pomóc.

Na początek zaznaczę, że napisałem do netartu takie prewencyjnego maila, że opanowałem ilość danych przesyłanych z/do bazy i że wiem o przekroczeniu limitu czasu i że może mi zając kilka dni namierzenie trolla i naprawa. To tak na wszelki wypadek, żeby im do głowy nie przyszło kombinować

Wydaje mi się, że głównym podejrzanym jest sitemap generator. Na wykresie widać, że to właśnie w trakcie generowania mapy czasy się wydłużają


Przed wywaleniem czatu będę się bronił do końca, czyli wywalę go dopiero jak wszystko inne (ja) zawiedzie. Doskonale zastępuje irc'a, ludzie się integrują i przy okazji nie opuszczają strony

Póki co - za radą bartola - ustawiłem generowanie mapy na poniedziałki raniuchno.

Jutro zdam relację w efektów. Może się komuś ten topic przyda. Wszak, trzeba się uczyć na błędach, a najlepiej cudzych


---------------------------------------------------------------------------

Teraz chyba dopiero narobiłem sobie bałaganu :/

Co tu dużo pisać: * 2 * * *

Może ktoś napisać jak wygląda poprawny zapis w "Zaplanowane zadania" umożlwiający wykonanie zadania co 2h ??

I jak udalo Ci sie opanowac liczbe przesylanych danych z/do bazy danych? Aktualnie borykam sie z podobnym problemem i kazda wskazowka bedzie cenna