Istotą konfigurowania ustawień grupy kontrolnej jest „punkt odniesienia jako wskazówka, podział w razie potrzeby i kontrolowanie zmiennych”. Wybierz odpowiedni schemat w oparciu o cele walidacji. Poniżej znajdują się trzy powszechnie stosowane projekty grupowe odpowiadające różnym potrzebom:
1. Podstawowy typ walidacji (tylko weryfikacja, czy nowy algorytm jest lepszy od algorytmu tradycyjnego): Najprostszy i najbardziej wydajny, odpowiedni dla większości scenariuszy.
|
Numer grupy |
Nazwa grupy |
Konfiguracja algorytmu |
Funkcjonować |
|
1 |
Grupa kontrolna linii bazowej |
Tradycyjny algorytm porównywania ze stałym progiem |
Zapewnia punkt odniesienia wydajności, odpowiadający Twojemu obecnemu istniejącemu schematowi. |
|
2 |
Grupa Eksperymentalna |
Nowy zoptymalizowany algorytm do walidacji (np. dynamiczny fazowy + 3σ + połączony algorytm EWMA) |
Testuje rzeczywistą wydajność nowego algorytmu, bezpośrednio w porównaniu z wartością bazową. |
Obowiązujące scenariusze: Wystarczy potwierdzić, czy nowy algorytm jest lepszy od starego algorytmu, bez konieczności rozkładania efektu każdego modułu optymalizacyjnego. Pierwszy wybór do walidacji modyfikacji inżynieryjnych, z najmniejszą liczbą zmiennych i najwyraźniejszymi wynikami.
2. Typ rozkładu modułu (weryfikacja indywidualnego wzmocnienia każdego modułu optymalizacyjnego): Nadaje się do opracowywania i dostrajania algorytmów. Jeśli chcesz wiedzieć, jaką poprawę wydajności przynosi każdy moduł („stopniowy próg, aktualizacja 3σ, kompensacja EWMA”) indywidualnie, użyj tej metody grupowania:
|
Numer grupy |
Nazwa grupy |
Konfiguracja algorytmu |
Zamiar |
|
1 |
Grupa kontrolna linii bazowej |
Tradycyjny stały próg (bez optymalizacji) |
Oryginalna linia bazowa |
|
2 |
Grupa eksperymentów z pojedynczą optymalizacją 1 |
Tylko etapowy próg dynamiczny (bez aktualizacji adaptacyjnej) |
Zweryfikować fałszywie dodatni efekt redukcji samego progu stopniowanego |
|
3 |
Grupa eksperymentalna podwójnej optymalizacji 2 |
Etapowa dynamiczna aktualizacja progu + 3σ progu (bez wartości bazowej EWMA) |
Sprawdź dodatkowe wzmocnienie po aktualizacji 3σ |
|
4 |
Grupa eksperymentalna pełnej optymalizacji 3 |
Etapowy próg dynamiczny + 3aktualizacja σ + kompensacja linii bazowej EWMA (pełny algorytm łączony) |
Sprawdź efekt końcowy kompletnego algorytmu. |
Obowiązujące scenariusze: Na etapie opracowywania algorytmu, gdy chcesz wyjaśnić wkład każdego modułu optymalizacyjnego, ułatwiając wyeliminowanie nieefektywnych modułów i skupienie się na skutecznych optymalizacjach.
3. Porównanie konkurencyjne (porównanie zalet i wad różnych algorytmów głównego nurtu): Odpowiednie dla scenariuszy selekcji.
Jeśli chcesz wybrać najbardziej odpowiedni algorytm spośród wielu dojrzałych algorytmów, użyj tej metody grupowania:
|
Numer grupy |
Nazwa grupy |
Konfiguracja algorytmu |
Funkcjonować |
|
1 |
Grupa kontrolna linii bazowej |
Tradycyjny stały próg |
Podstawowe odniesienie |
|
2 |
Grupa rozwiązań głównego nurtu 1 |
Stopniowa dynamiczna aktualizacja progu + 3σ |
Testowanie wydajności obecnych rozwiązań głównego nurtu |
|
3 |
Grupa rozwiązań głównego nurtu 2 |
Algorytm kompensacji adaptacyjnej EWMA |
Porównanie zalet i wad innego, głównego nurtu rozwiązania |
|
Fakultatywny |
Grupa rozwiązań-zaawansowanych |
Wykrywanie anomalii uczenia maszynowego |
Testowanie-opłacalności-najwyższych rozwiązań |
Obowiązujące scenariusze: wybór i zaopatrzenie, podejmowanie-rozwiązań, podejmowanie decyzji, gdzie należy jasno określić różnice w wydajności między różnymi dojrzałymi algorytmami.
Podstawowe zasady konfiguracji grupy:
Każda grupa zachowuje tylko jedną zmienną: wszystkie grupy muszą mieć identyczny sprzęt, warunki pracy i cykle testowania, różniąc się jedynie algorytmem; w przeciwnym razie wyniki są niejednoznaczne.
Należy zachować wyjściową grupę kontrolną: porównania bez wartości wyjściowej są bez znaczenia; wszystkie wyniki muszą być powiązane z oryginalnym rozwiązaniem, aby wykazać wyższość lub niższość.
Więcej grup niekoniecznie jest lepszych: w scenariuszach innych niż-optymalizacja rozwoju wystarczający jest podstawowy projekt „1 grupy kontrolnej + 1 grupy eksperymentalnej”; zbyt wiele grup zwiększy obciążenie testowaniem.
