Дискретизация — это процесс преобразования непрерывных переменных в дискретные переменные путем создания набора смежных интервалов, которые охватывают диапазон значений переменных.

1.1. Дискретизация помогает обрабатывать выбросы и сильно искаженные переменные.

Дискретизация помогает обрабатывать выбросы, помещая эти значения в более низкие или более высокие интервалы вместе с остальными внутренними значениями распределения. Таким образом, эти выбросы больше не отличаются от остальных значений в хвостах распределения, так как теперь они все вместе в одном интервале / сегменте.Кроме того, путем создания соответствующих интервалов или интервалов дискретизация может помочь распределить значения перекошенной переменной по набору интервалов с равным количеством наблюдений.

1.2 Подходы к дискретизации

Существует несколько подходов для преобразования непрерывных переменных в дискретные. Этот процесс также известен как , объединение , причем каждый интервал является каждым интервалом. Методы дискретизации делятся на 2 категории: под надзором и без надзора .

Неконтролируемые методы не используют никакую информацию, кроме распределения переменных , для создания смежных блоков, в которые будут помещены значения.

Контролируемые методы обычно используют целевую информацию для создания бинов или интервалов.

Мы будем говорить только о методе контролируемой дискретизации с использованием деревьев решений здесь, в этой статье.

Но прежде чем перейти к следующему шагу, давайте загрузим набор данных, для которого мы будем выполнять дискретизацию.

Дискретизация с деревьями решений состоит в использовании дерева решений для определения оптимальных точек разделения, которые бы определяли интервалы или смежные интервалы:

Шаг 1 : Сначала оно обучает дерево решений ограниченной глубины (2, 3 или 4) используя переменную, которую мы хотим дискретизировать, чтобы предсказать цель.

Шаг 2: Затем исходные значения переменных заменяются вероятностью, возвращаемой деревом. Вероятность одинакова для всех наблюдений в пределах одной ячейки, поэтому замена на вероятность эквивалентна группировке наблюдений в пределах отсечения, определяемого деревом решений.

Преимущества:

• Дерево возвращаемых решений вероятностных прогнозов монотонно связано с целью.
• Новые контейнеры показывают уменьшенную энтропию, то есть наблюдения внутри каждой корзины / корзины больше похожи на самих себя, чем наблюдения других корзин / корзин.
• Дерево находит бункеры автоматически.

Недостатки:

• Это может привести к переопределению
• Что более важно, может потребоваться некоторая настройка параметров дерева для получения оптимальных разбиений (например, глубина, минимальное количество выборок в одном разделе, максимальное количество разделов и минимальный прирост информации). Это может занять много времени.

Давайте посмотрим, как выполнить дискретизацию с деревьями решений с использованием набора данных Titanic.

1. Импорт полезных библиотек

 IN [1]: 
 импорт панд как pd 
 импорт numpy как np 
 импорт matplotlib.pyplot как plt 
 из sklearn.model_selection import train_test_split 

2. Загрузить набор данных

 IN [2]: 
 data = pd.read_csv ('titanic.csv', usecols = ['Age', 'Fare', 'Survived']) 
 data.head () 

3. Разделите данные на обучающие и тестовые наборы

 IN [3]: 
 X_train, X_test, y_train, y_test = train_test_split (data [['Age', 'Fare', 'Survived']], data.Survived, test_size = 0.3) 

Итак, предполагая, что у нас нет пропущенных значений в наборе данных (или даже если у нас отсутствуют пропущенные данные в наборе данных, мы их вменяем). Я покидаю эту часть, потому что моя главная цель — показать, как работает дискретизация.

Итак, теперь давайте визуализируем наши данные таким образом, чтобы мы могли получить из них некоторую информацию и понять переменные. Выжил , чтобы опровергнуть переменную возраст .

 IN [4]: ​​
 tree_model = DecisionTreeClassifier (max_depth = 2) tree_model.fit (X_train.Age.to_frame (), X_train.Survived) X_train ['Age_tree'] = tree_model.predict_ra.ra.ra. ()) [:, 1] X_train.head (10) 

Теперь у нас есть классификационная модель, использующая переменную age для прогнозирования переменной Survived .

Вновь созданная переменная Age_tree содержит вероятность того, что точка данных принадлежит соответствующему классу

5.Проверка количества уникальных значений в Age_tree переменная

 IN [5]: 
 X_train.Age_tree.unique () 

Почему правы только четыре вероятности?

Выше на входе четыре мы упомянули max_depth = 2. Дерево глубины 2 делает 2 разбиения, следовательно, генерируя 4 сегмента, поэтому мы видим 4 различных вероятности в выходных данных выше ,

6. Проверьте соотношение между дискретизированной переменной Возраст_дерево и целевой показатель Выжил .

 IN [6]: 
 fig = plt.figure () 
 fig = X_train.groupby (['Age_tree']) ['Survived']. Mean (). Plot () 
 fig.set_title ('Monotonic взаимосвязь между дискретным возрастом и целью ') 
 fig.set_ylabel (' Survived ') 

Здесь мы видим монотонную взаимосвязь между дискретизированной переменной и Age_tree целевой переменной Survived .Этот график предполагает, что Age_tree выглядит хорошим предсказателем целевой переменной Выживший .

7. Проверка количества пассажиров в вероятностном ведре / контейнере в соответствии с распределением дискретизированной переменной.

 IN [7]: 
 X_train.groupby (['Age_tree']) ['Survived']. Count (). Plot.bar () 

Давайте проверим сегменты ограничения возраста, созданные деревом, путем захвата минимальный и максимальный возраст для каждого вероятного сегмента, чтобы получить представление о пороговых значениях.

8. Проверка сегментов ограничения по возрасту, генерируемых деревом

 IN [7]: 
 pd.concat ([X_train.groupby (['Age_tree'])] ['Age']. Min (), 
 X_train.groupby (['Age_tree']) ['Age']. Max ()], axis = 1) 

Таким образом, дерево решений сгенерировало сегменты: 0–11 , 12–15 , 16 –63 и
46–80 , с вероятностями выживания 0,51 , 0,81 , 0,37 и 0,10 соответственно.

9. Визуализация дерева.

 IN [8]: 
 с открытым ("tree_model.txt", "w") как f: 
 f = export_graphviz (tree_model, out_file = f) из IPython.display импортировать изображение 
 из IPython.core.display import HTML 
 PATH = "tree_visualisation.png" 
 Изображение (имя файла = PATH, ширина = 1000, высота = 1000) 

Как видно из графика, мы получаем 4 ячейки для max_depth = 2 .

Как я упоминал ранее, существует ряд параметров, которые мы могли бы оптимизировать для получения наилучшего разбиения бина с использованием деревьев решений.Ниже я оптимизирую глубину дерева для демонстрации. Но помните, что вы также можете оптимизировать оставшиеся параметры дерева решений. Посетите веб-сайт sklearn, чтобы увидеть, какие другие параметры можно оптимизировать.

10. Выбор оптимальной глубины дерева

Я построю деревья различной глубины и вычислю roc-auc , определенных для переменной, и цель для каждого дерева. Затем я выберу глубину который генерирует лучшие roc-auc

 IN [9]: 
 score_ls = [] # здесь я буду хранить roc auc 
 score_std_ls = [] # здесь я буду хранить стандартное отклонение roc_aucfor tree_depth в [1, 2,3,4]: 
 tree_model = DecisionTreeClassifier (max_depth = tree_depth) 
 баллов = cross_val_score (tree_model, X_train.Age.to_frame (), 
 y_train, cv = 3, оценка = 'roc_auc') 
 
 score_ls.append (np.mean (баллы)) 
 
 score_std_ls.append (np.std (баллы)) 
 
 temp = pd .concat ([pd.Series ([1,2,3,4]), pd.Series (score_ls), pd.Series (score_std_ls)], axis = 1) 
 temp.columns = ['глубина', 'roc_auc_mean ',' roc_auc_std '] print (temp) 

Здесь мы можем легко заметить, что мы получили лучший roc-auc , используя глубину 1 или 2. Я выберу глубину 2 , чтобы продолжить.

11. Преобразовать переменную Возраст с помощью дерева

 IN [10]: 
 tree_model = DecisionTreeClassifier (max_depth = 2) tree_model.fit (X_train.Age.to_fra ( ), X_train.Survived) X_train ['Age_tree'] = tree_model.predict_proba (X_train.Age.to_frame ()) [:, 1] X_test ['Age_tree'] = tree_model.predict_proba (X_test.Age.to_fra) :, 1] 

12. Проверка преобразованной переменная переменная в наборе поездов

 IN [11]: 
 X_train.head () 

13. Проверка уникальных значений каждого бина в наборе поездов

 IN [12]: 
 X_train.Age_tree.unique () 

14. Проверка преобразованных возраст переменная в тестовом наборе

 IN [13]: 
 X_test.head () 

15. Проверка уникальных значений каждого бина в наборе поездов

 IN [ 14]: 
 X_test.Age_tree.unique () 

Теперь мы успешно разделили переменную Age на четыре дискретных значения, которые могут помочь нашей модели сделать более точные прогнозы.

Мы также можем выполнить ту же процедуру, если мы хотим дискретизировать оставшиеся переменные, такие как Тариф .

Discretize by Binning — RapidMiner Documentation

Обучающие процессы

Дискретизация числовых атрибутов набора данных ‘Golf’, установленных Binning

В центре внимания этого примера процесса находится процедура биннинга. Для понимания параметров, связанных с выбором атрибутов, изучите пример процесса оператора Select Attributes.

Набор данных ‘Golf’ загружается с помощью оператора Retrieve. К нему применяется оператор Discretize by Binning. Атрибуты «Температура» и «Влажность» выбраны для дискретизации.Параметр количества ячеек установлен в 2. Параметр определения границ установлен в true. Параметры min value и max value установлены на 70 и 80 соответственно. Таким образом, биннинг будет выполняться только в диапазоне от 70 до 80. Поскольку для параметра количества ячеек задано значение 2, диапазон будет разделен на два равных сегмента. Приблизительно говоря, первый сегмент диапазона будет от 70 до 75, а второй сегмент диапазона будет от 76 до 80. Это не точные значения, но они достаточно хороши для объяснения этого процесса.Для всех этих значений будет отдельный диапазон, который меньше, чем параметр минимального значения, то есть меньше 70. Этот диапазон автоматически называется «диапазон1». Первый и второй сегменты диапазона биннинга называются «range2» и «range3» соответственно. Для всех этих значений будет отдельный диапазон, который больше, чем параметр max value, то есть больше 80. Этот диапазон автоматически называется ‘range4’. Запустите процесс и сравните исходный набор данных с дискретизированным. Вы можете видеть, что значения, меньшие или равные 70 в исходном наборе данных, называются «range1» в дискретизированном наборе данных.Значения больше 70 и меньше или равные 75 в исходном наборе данных называются «range2» в наборе дискретизированных данных. Значения больше 75 и меньше или равные 80 в исходном наборе данных называются «range3» в наборе дискретизированных данных. Значения больше 80 в исходном наборе данных называются «range4» в наборе дискретизированных данных.