핸즈온 머신러닝(2판)(책) - 편집 역사

Ryanyang: /* 정리 3일차 */

2022-08-10T07:29:20Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 16:29 판
225번째 줄:		225번째 줄:

	* 최상의 모델을 분석하여 문제에 대한 통찰력을 얻어서 최적화를 함 (예 : 덜 중요한 특성 제외)		* 최상의 모델을 분석하여 문제에 대한 통찰력을 얻어서 최적화를 함 (예 : 덜 중요한 특성 제외)

			==== 론칭, 모니터링, 시스템 유지 보수 ====

			* 어떤 방식이든 모니터링 시스템을 준비해야 합니다. (운영 중인 모델을 평가하기 위해 평가자를 사용하든 하용하지 않든).
			* 또한 모델이 실패했을 때 무엇을 할지 정의하고 어떻게 대비할지 관련 프로세스를 모두 준비해야 합니다.
			* 데이터가 계속 변화하면 데이터셋을 업데이트하고 모델을 정기적으로 다시 훈련해야 합니다.
			* 전체 과정에서 가능한 한 많은 것을 자동화해야 합니다. 다음은 자동화할 수 있는 일부 작업입니다.
			** 정기적으로 새로운 데이터를 수집하고 레이블을 답니다 (예 : 조사원 활용)
			** 모델을 훈련하고 하이퍼파라미터를 자동으로 세부 튜닝하는 스크립트를 작성 (작업에 따라 매일 또는 매주 자동으로 이 스크립트를 실행할 수 있음)
			** 업데이트된 테스트 세트에서 새로운 모델과 이전 모델을 평가하는 스크립트를 하나 더 작성합니다. 성능이 감소하지 않으면 새로운 모델을 제품에 배포합니다. (성능이 나쁘다면 왜 그런지 조사합니다)
			* 또한 모델의 입력 데이터 품질으 평가해야 합니다.
			* 마지막으로 만든 모델을 백업(backup)해야 합니다. 새로운 모델이 어떤 이유로 올바르지 않게 작동하는 경우 이전 모델로 빠르게 롤백(rollback)하기 위한 절차와 도구를 준비합니다.

			==== 요약 ====
			머신러닝 프로젝트 대부분의 작업은 아래 단계로 이루어짐

			# 데이터 준비 단계
			# 모니터링 도구 구축
			# 사람의 평가 파이프라인 구축
			# 주기적인 모델 학습 자동화

	[[분류:책]]		[[분류:책]]

Ryanyang: /* 정리 3일차 */

2022-08-10T06:33:02Z

정리 3일차

@@ 194번째 줄: / 194번째 줄: @@
 </syntaxhighlight>
 *'''앙상블 학습 :''' 여러 다른 모델을 모아서 하나의 모델로 만드는 학습 방법
 [[분류:책]]

Ryanyang: /* 정리 3일차 */

2022-08-10T05:38:17Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 14:38 판
194번째 줄:		194번째 줄:
	</syntaxhighlight>		</syntaxhighlight>

	*~~dfsdf~~		*'''앙상블 학습 :''' 여러 다른 모델을 모아서 하나의 모델로 만드는 학습 방법

	[[분류:책]]		[[분류:책]]

211.200.98.37: /* 정리 3일차 */

2022-08-10T03:34:05Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 12:34 판
194번째 줄:		194번째 줄:
	</syntaxhighlight>		</syntaxhighlight>

	*		*dfsdf

	[[분류:책]]		[[분류:책]]

211.200.98.37: /* 정리 3일차 */

2022-08-10T03:33:54Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 12:33 판
187번째 줄:		187번째 줄:
	**그러나 표준화는 이상치에 영향을 덜 받음		**그러나 표준화는 이상치에 영향을 덜 받음
	*'''모든 변환기에서 스케일링은 (테스트 세트가 포함된) 전체 데이터가 아니고 훈련 데이터에 대해서만 fit() 메소드를 적용해야 함. 그런 다음 훈련 세트와 테스트 세트(그리고 새로운 데이터)에 대해 transform() 메서드를 사용함'''		*'''모든 변환기에서 스케일링은 (테스트 세트가 포함된) 전체 데이터가 아니고 훈련 데이터에 대해서만 fit() 메소드를 적용해야 함. 그런 다음 훈련 세트와 테스트 세트(그리고 새로운 데이터)에 대해 transform() 메서드를 사용함'''
	*현재 사용 중인 Scikit-learn 버전을 확인하는 코드는 아래와 같다. <br /><syntaxhighlight lang="python3" line="1">		*현재 사용 중인 Scikit-learn 버전을 확인하는 코드는 아래와 같다. <br /><br />

			<syntaxhighlight lang="python3" line="1">
	import sklearn		import sklearn
	print(sklearn.__version__)		print(sklearn.__version__)

211.200.98.37: /* 정리 3일차 */

2022-08-10T03:33:43Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 12:33 판
186번째 줄:		186번째 줄:
	표준화 : ① 먼저 평균을 뺌 (그래서 표준화를 하면 항상 평균이 0이 됨) ② 표준편차로 나누어 결과 분포의 분산이 1이 되게 함*min-max 스케일링과 달리 표준화는 범위의 상한과 하한이 없어 어떤 알고리즘에서는 문제가 될 수 있음 (예 : 신경망은 종종 입력값의 범위로 0 ~ 1 사이를 기대함)		표준화 : ① 먼저 평균을 뺌 (그래서 표준화를 하면 항상 평균이 0이 됨) ② 표준편차로 나누어 결과 분포의 분산이 1이 되게 함*min-max 스케일링과 달리 표준화는 범위의 상한과 하한이 없어 어떤 알고리즘에서는 문제가 될 수 있음 (예 : 신경망은 종종 입력값의 범위로 0 ~ 1 사이를 기대함)
	**그러나 표준화는 이상치에 영향을 덜 받음		**그러나 표준화는 이상치에 영향을 덜 받음
	*'''모든 변환기에서 스케일링은 (테스트 세트가 포함된) 전체 데이터가 아니고 훈련 데이터에 대해서만 fit() 메소드를 적용해야 함. 그런 다음 훈련 세트와 테스트 세트(그리고 새로운 데이터)에 대해 transform() 메서드를 사용함'''		*'''모든 변환기에서 스케일링은 (테스트 세트가 포함된) 전체 데이터가 아니고 훈련 데이터에 대해서만 fit() 메소드를 적용해야 함. 그런 다음 훈련 세트와 테스트 세트(그리고 새로운 데이터)에 대해 transform() 메서드를 사용함'''
			*현재 사용 중인 Scikit-learn 버전을 확인하는 코드는 아래와 같다. <br /><syntaxhighlight lang="python3" line="1">
			import sklearn
			print(sklearn.__version__)
			</syntaxhighlight>

			*

	[[분류:책]]		[[분류:책]]

Ryanyang: /* 정리 3일차 */

2022-08-10T01:41:58Z

정리 3일차

← 이전 판		2022년 8월 10일 (수) 10:41 판
177번째 줄:		177번째 줄:
	== 정리 3일차 ==		== 정리 3일차 ==
	2022년 8월 10일에 정리한 내용		2022년 8월 10일에 정리한 내용

	*
	*

	=== 머신러닝 알고리즘을 위한 데이터 준비 (cont.) ===		=== 머신러닝 알고리즘을 위한 데이터 준비 (cont.) ===

	*		*모든 특성의 범위를 같도록 만들어주는 방법으로 '''min-max 스케일링'''과 '''표준화(standardization)'''가 널리 사용됨
			** min-max 스케일링은 많은 사람이 '''정규화(normalization)'''라고 부름
			**이를 위해 사이킷런에는 MinMaxScaler 변환기와 StandardScaler를 제공함
			*min-max 스케일링 : ① 0 ~ 1 범위에 들도록 값을 이동하고 스케일링을 조정 ② 데이터에서 최솟값을 뺀 후 최댓값과 최소값의 차이로 나눔
			표준화 : ① 먼저 평균을 뺌 (그래서 표준화를 하면 항상 평균이 0이 됨) ② 표준편차로 나누어 결과 분포의 분산이 1이 되게 함*min-max 스케일링과 달리 표준화는 범위의 상한과 하한이 없어 어떤 알고리즘에서는 문제가 될 수 있음 (예 : 신경망은 종종 입력값의 범위로 0 ~ 1 사이를 기대함)
			**그러나 표준화는 이상치에 영향을 덜 받음
			*'''모든 변환기에서 스케일링은 (테스트 세트가 포함된) 전체 데이터가 아니고 훈련 데이터에 대해서만 fit() 메소드를 적용해야 함. 그런 다음 훈련 세트와 테스트 세트(그리고 새로운 데이터)에 대해 transform() 메서드를 사용함'''

	[[분류:책]]		[[분류:책]]

Ryanyang: /* 정리 2일차 */

2022-08-10T01:41:07Z

정리 2일차

← 이전 판		2022년 8월 10일 (수) 10:41 판
175번째 줄:		175번째 줄:
	* 여러 가지 데이터 변환을 쉽게 시도해 볼 수 있고 어떤 조합이 가장 좋은지 확인하는 데 편리		* 여러 가지 데이터 변환을 쉽게 시도해 볼 수 있고 어떤 조합이 가장 좋은지 확인하는 데 편리
	*대부분의 머신러닝 알고리즘은 숫자를 다루므로 텍스트는 숫자로 바꿔야 함		*대부분의 머신러닝 알고리즘은 숫자를 다루므로 텍스트는 숫자로 바꿔야 함
			== 정리 3일차 ==
			2022년 8월 10일에 정리한 내용

			*
			*

			=== 머신러닝 알고리즘을 위한 데이터 준비 (cont.) ===

			*

	[[분류:책]]		[[분류:책]]

Ryanyang: /* 머신러닝 알고리즘을 위한 데이터 준비 */

2022-08-09T08:13:46Z

머신러닝 알고리즘을 위한 데이터 준비

← 이전 판		2022년 8월 9일 (화) 17:13 판
174번째 줄:		174번째 줄:
	* 실제 시스템에서 알고리즘에 새 데이터를 주입하기 전에 변환시키는 데 이 함수를 사용할 수 있음		* 실제 시스템에서 알고리즘에 새 데이터를 주입하기 전에 변환시키는 데 이 함수를 사용할 수 있음
	* 여러 가지 데이터 변환을 쉽게 시도해 볼 수 있고 어떤 조합이 가장 좋은지 확인하는 데 편리		* 여러 가지 데이터 변환을 쉽게 시도해 볼 수 있고 어떤 조합이 가장 좋은지 확인하는 데 편리
			*대부분의 머신러닝 알고리즘은 숫자를 다루므로 텍스트는 숫자로 바꿔야 함

	[[분류:책]]		[[분류:책]]

Ryanyang: /* 정리 2일차 */

2022-08-09T07:21:21Z

정리 2일차

← 이전 판		2022년 8월 9일 (화) 16:21 판
166번째 줄:		166번째 줄:
	*특성 사이의 상관관계를 확인하는 다른 방법은 숫자형 특성 사이에 산점도를 그려주는 판다스의 scatter_matrix 함수를 사용하는 것		*특성 사이의 상관관계를 확인하는 다른 방법은 숫자형 특성 사이에 산점도를 그려주는 판다스의 scatter_matrix 함수를 사용하는 것
	*대부분의 소프트웨어 프로젝트가 그렇지만 특히 머신러닝 프로젝트는 '''빠른 프로토타이핑'''과 '''반복적인 프로세스'''가 권장됨		*대부분의 소프트웨어 프로젝트가 그렇지만 특히 머신러닝 프로젝트는 '''빠른 프로토타이핑'''과 '''반복적인 프로세스'''가 권장됨

			=== 머신러닝 알고리즘을 위한 데이터 준비 ===
			머신러닝 알고리즘을 위해 데이터를 준비해야하는데, 이 작업은 수동으로 하는 것보다는 함수 등을 만들어 자동화 해야 하는데 그 이유는 아래와 같음.

			* 어떤 데이터셋에 대해서도 데이터 변환을 손쉽게 반복할 수 있음(예를 들어, 다음 번에 새로운 데이터셋을 사용)
			* 향후 프로젝트에 사용할 수 있는 변환 라이브러리를 점진적으로 구축하게 됨
			* 실제 시스템에서 알고리즘에 새 데이터를 주입하기 전에 변환시키는 데 이 함수를 사용할 수 있음
			* 여러 가지 데이터 변환을 쉽게 시도해 볼 수 있고 어떤 조합이 가장 좋은지 확인하는 데 편리

	[[분류:책]]		[[분류:책]]