반짝반짝 빈나는

객체 지향 프로그래밍 개념 정리

빈나는 — Thu, 25 Feb 2021 17:40:18 +0900

<객체 지향 프로그래밍>
1. 객체란?
객체(Object)란 물리적으로 존재하거나 추상적으로 생각할 수 있는 것 중에서 자신의 속성을 가지고 있고 다른 것과 식별 가능한 것을 말한다.

2. 객체 간의 관계
객체는 개별적으로 사용될 수 있지만, 대부분 다른 객체와 관계를 맺고 있다. 이 관계의 종류에는 집합 관계, 사용 관계, 상속 관계가 있다.
집합 관계 : 자동차 객체 <---> 엔진 객체, 타이어 객체, 핸들 객체

사용 관계 : 객체 간의 상호작용. 사람은 자동차를 사용하므로 사람과 자동차는 사용의 관계

상속 관계 : 상위(부모) 객체를 기반으로 하위(자식) 객체를 생성하는 관계. 자동차 객체 ---> 기계 객체

3. 객체 지향 프로그래밍의 특징
- 캡슐화(Encapsulation) : 객체의 필드, 메소드를 하나로 묶고, 실제 구현 내용을 감추는 것. 외부 객체는 객체 내부의 구조를 알지 못하며 객체가 노출해서 제공하는 필드와 메소드만 이용할 수 있다.

- 상속(Inheritance) : 상위 객체를 재사용해서 하위 객체를 쉽고 빨리 설계할 수 있도록 도와주고, 이미 잘 개발된 객체를 재사용해서 새로운 객체를 만들기 때문에 반복된 코드의 중복을 줄여줌

- 다형성(Polymorphism) : 같은 타입이지만 실행 결과가 다양한 객체를 이용할 수 있는 성질. 타이어 타입 --> 한국 타이어 객체, 금호 타이어 객체

<객체와 클래스>

객체를 생성하는 순서 : 개발자 --(설계)--> 클래스(설계도) --(인스턴스화)--> 인스턴스(객체)

<객체 생성과 클래스 변수>

new 연산자를 사용해 클래스로부터 객체를 생성. new 연산자로 생성된 객체는 메모리 힙(heap) 영역에 생성됨. new 연산자는 힙 영역에 객체를 생성시킨 후, 객체의 주소를 리턴하도록 되어 있음.

<클래스의 구성 멤버>
- 필드: 객체의 데이터가 저장되는 곳
- 생성자(Constructor): 객체 생성 시 초기화 역할 담당
- 메소드: 객체 동작에 해당하는 실행 블록

<생성자>
1. 생성자 오버로딩 : 매개 변수를 달리하는 생성자를 여러개 선언하는 것. 생성자 오버로딩 시 주의할 점은 매개 변수의 타입과 개수 그리고 선언된 순서가 똑같을 경우 매개 변수 이름만 바꾸는 것은 생성자 오버로딩이라고 볼 수 없음.

2. 다른 생성자 호출(this())
생성자 오버로딩이 많아질 경우 생성자 간의 중복된 코드가 발생할 수 있다. 매개 변수의 수만 달리하고 필드 초기화 내용이 비슷한 생성자에서 이러한 현상을 많이 볼 수 있다.
이 경우에는 필드 초기화 내용은 한 생성자에만 집중적으로 작성하고, 나머지 생성자는 초기화 내용을 가지고 있는 생성자를 호출하는 방법으로 개선할 수 있다. 생성자에서 다른 생성자를 호출할 때에는 다음과 같이 this() 코드를 사용한다.
this()는 자신의 다른 생성자를 호출하는 코드로 반드시 생성자의 첫줄에서만 허용된다.

<메소드>
1. 매개 변수의 수를 모를 경우 : 해결책은 매개 변수를 배열 타입으로 선언하는 것이다.
ex ) int sum1(int[] values) {    }
But, 매개변수를 배열 타입으로 선언하면, 메소드를 호출하기 전에 배열을 생성해야 하는 불편한 점이 있다.
그래서 배열을 생성하지 않고 갑의 리스트만 넘겨주는 방법도 있다.
매개변수를 "..."를 사용해서 선언하면, 메소드 호출 시 넘겨준 값의 수에 따라 자동으로 배열이 생성되고 매개값으로 사용된다.
ex ) int sum2(int ... values) {    }

2. 메소드 오버로딩
클래스 내에 같은 이름의 메소드를 여러 개 선언하는 것.
오버로딩의 사전적 의미는 많이 싣는 것.
하나의 메소드 이름으로 여러 기능을 담는다 하여 붙여진 이름.
메소드 오버로딩의 조건은 매개변수의 타입, 개수, 순서 중 하나가 달라야함.

<인스턴스 멤버와 this>
인스턴스 멤버란 객체(인스턴스)를 생성 후 사용할 수 있는 필드와 메소드를 말하는데, 이들을 각각 인스턴스 필드, 인스턴스 메소드라 부름
여태까지 보았던 모든 필드와 메소드는 인스턴스 멤버였음

객체 내부에서도 인스턴스 멤버에 접근하기 위해 this를 사용할 수 있음.
this란, 우리가 자신을 "나"라고 하듯이 객체는 자신을 "this" 라고함.

따라서 this.model은 자신이 가지고 있는 model 필드라는 뜻임.

this는 주로 생성자와 메소드의 매개변수 이름이 필드와 동일한 경우, 인스턴스 멤버인 필드임을 명시하고자 할 때 사용됨.

<정적 멤버와 static>
정적(static)은 '고정된' 의미를 가지고 있음.
정적 멤버는 클래스에 고정된 멤버로서 객체를 생성하지 않고 사용할 수 있는 필드와 메소드를 말함.
이들을 각각 정적 필드, 정적 메소드라고 부름.
정적 멤버는 객체(인스턴스)에 소속된 멤버가 아니라 클래스에 소속된 멤버이기 때문에 클래스 멤버라고도 함.

1. 정적 멤버 선언
static 키워드를 추가로 붙여 사용한다.
정적 필드와 정적 메소드는 클래스에 고정된 멤버이므로 클래스 로더가 클래스(바이트 코드)를 로딩해서
메소드 메모리 영역에 적재할 때 클래스별로 관리된다. 따라서 클래스의 로딩이 끝나면 바로 사용할 수 있다.

정적필드 선언 판단 기준은
객체마다 가지고 있어야 할 데이터라면 인스턴스 필드로 선언하고,
객체마다 가지고 있을 필요성이 없는 공용적인 데이터라면 정적 필드로 선언하는 것이 좋다.
ex) 파이(3.14)는 객체마다 가지고 있을 필요가 없는 변하지 않는 공용적인 데이터이므로 정적 필드로 선언하는 것이 좋음

정적메소드 선언 판단 기준은
인스턴스 필드를 이용해서 실행해야 한다면 인스턴스 메소드로 선언하고,
인스턴스 필드를 이용하지 않는다면 정적메소드로 선언한다.

2. 정적 멤버 사용
클래스가 메모리로 로딩되면 정적 멤버 바로 사용 가능.
클래스 이름과 함께 도트(.) 연산자로 접근함
클래스.필드;
클래스.메소드(매개값);

정적필드와 정적 메소드는 객체 참조 변수로도 접근이 가능하지만, 클래스 이름으로 접근하는 것이 좋다.

3. 정적 초기화 블록
정적 필드는 필드 선언과 동시에 초기값을 준다.
계산이 필요한 초기화 작업이 있을 경우 정적 블록(static block)을 사용한다.
static {
...
}
정적 블록은 클래스가 메모리로 로딩될 때 자동적으로 실행됨.
정적블록은 클래스 내부에 여러 개가 선언되어도 상관없음.

4. 정적 메소드와 블록 선언 시 주의할 점
객체가 없어도 실행된다는 특징 때무에, 이들 내부에 인스턴스 필드나 인스턴스 메소드를 사용할 수 없음.
또한 this 키워드도 사용 불가능
정적 메소드와 정적 블록에서 인스턴스 멤버를 사용하고 싶다면 객체를 먼저 생성하고 참조 변수로 접근해야함.

Generator based AI 개선

빈나는 — Wed, 16 Dec 2020 17:13:19 +0900

1. BERT Embedding 방식의 필요성

- one-hot encoding embedding 방식 : text를 벡터로 바꿔주지만 단어간 유사도를 측정하기 어렵고, 희귀 단어, 이름, 숫자나 단어장에 없는 단어에 대한 학습에 어려움이 존재
- 이로 인해 OOV (out of vocabulary) 문제 발생
- 사전에 training 하지 않은 label이 input으로 들어올 경우 OOV 문제로 예측을 정상적으로 하지 못하는 현상
- 따라서 미등록 단어 (OOV) 문제에 대해 해결하고자 embedding 방식을 변경할 필요가 있었음.

2. BERT Embedding 방식?

- 구글에서 개발한 NLP 사전 훈련 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model임
- Word Piece 임베딩 방식 : 자주 등장하는 sub-word는 그 자체 단위가 되고, 자주 등장하지 않는 단어(rare word)는 sub-word로 쪼개짐.
- Word Piece 임베딩은 모든 언어에 적용 가능하며, sub-word 단위로 단어를 분절. OOV 처리에 효과적이고 정확도 상승효과도 있음.
- 단어장에 없는 단어, 희귀 단어 등이 label 값으로 등장하여도 사전에 훈련했던 단어장을 참조하여 유사한 단어 묶음을 조회해 예측 가능
(ex: phone number name → smartphone numbers name 예측 가능)

3. Beam Search 알고리즘의 필요성

- 모델이 달라지지 않는 한 계속 같은 값을 예측함
  ex) "test"라는 단어를 예측하도록 훈련시켰다면 계속 "test" 값만 예측함.
  이유 : 특정 문자 다음에 오는 문자를 확률이 가장 높은 글자를 매번 선택하기 때문 (greedy 방식)

4. Beam-Search?

- Beam-Search : 매 스탭마다 beam 갯수만큼 후보를 유지하면서 서치를 하는 방식
- 모든 후보가 <eos>로 마무리될 때까지 가장 확률이 높은 K개의 후보군을 유지함.
- 따라서 형식에 맞는 다양한 값 생성이 가능함 (ex: 예측값 2020-07-28 외에 2020-07-30, 2020-07-29 으로 예측 가능)

5. BERT 상세보기

- BERT(Bidirectional Encoder Representations from Transformers)
- 18년 10월에 논문이 공개된 구글의 새로운 Language Representation Model임.
- NLP의 11개 테스크에 최고 성능을 기록함
- text = "Here is the sentence I want embeddings for."
  ['[CLS]', 'here', 'is', 'the', 'sentence', 'i', 'want', 'em', '##bed', '##ding', '##s', 'for', '.', '[SEP]']

  . original word가 subword로 쪼개짐
  . "##bed"는 어떤 단어의 일부, subword라는 뜻. 독립적인 단어 "bed"랑 다르다는 것을 보여주기 위해
  . 전체 단어가 BERT vocab에 없으면 subword로 쪼갬 (vocab에서 찾을 때까지 쪼갬). 끝까지 못 찾으면 철자 하나씩까지 쪼갬

Generator based AI

빈나는 — Wed, 16 Dec 2020 17:02:11 +0900

Generator based AI

1. Approach
- tf-idf로 추출한 label값과 value의 시작 글자를 입력받아 첫 번째 글자를 예측
- 이 글자를 다시 반복해서 모델에 집어넣어 두 번째 글자를 예측
- 이 과정을 "eos"가 출력될 때까지 반복

2. Dataset
- value: target value
- label: mobile element의 tf-idf로 라벨링한 대표값

3. Embedding
- 기존: label값에 대하여 one hot encoding 사용
- one hot의 단점: text를 숫자로 바꿔주지만 단어간 유사도를 측정하기 어려움
- 또한 미등록 단어(out of vocabulary)문제 발생
- 따라서 BERT model을 사용하기로함.

4. Classifier
- LSTM에서 처리한 결과를 바탕으로 다음 글자가 무엇이 될 지 예측

5. Training
- MatricCalculator: 학습/검증 데이터에 대한 정확도를 기록
- save_checkpoint: 모델의 파라미터를 파일로 저장
- load_checkpoint: 저장한 모델 파라미터를 불러와 모델에 씌움
- save_dict_to_json: 모델의 학습경과를 json 파일로 저장

6. Beam-Search
- 매 스탭마다 beam 갯수(K)만큼 후보를 유지하면서 서치를 하는 방식
- K 개의 예측한 후보값 중 random 한 값을 return하도록 개선 (다양한 input data 제공을 위해)

Object Detection

빈나는 — Fri, 4 Sep 2020 17:49:15 +0900

1. Object Detection이란?

Object Detection은 Image Classification task에 사물의 위치를 Bounding Box로 예측하는 Regression task가 추가된 문제!

multi-labeled classification : 한 이미지에 여러 class 존재

boounding box regression : box의 좌표 값을 예측

따라서 Object Detection = Multi-labeled Classification + Bounding Box Regression

2. Sliding Window

다양한 scale의 window를 이미지의 왼쪽 위부터 오른쪽 아래까지 sliding하며 score를 계산하는 방법을 의미.
하나의 이미지에서 여러번 score를 계산하여야 하므로 속도 측면에서 비효율적

3. Selective Search (SS)

영상의 계층적 구조를 활용하여 영역을 탐색하고 그룹화하는 과정을 반복하며 객체의 위치를 proposal 해주는 기능을 수행

4. R-CNN?

Object Detection에 CNN을 적용한 첫 논문으로, Selective Search와 CNN을 결합한 방법론

input image가 있으면 Selective Search를 통해 Region Proposal을 수행함.
그 뒤 Proposal된 영역들을 CNN의 고정 사이즈를 가지는 입력으로 변환시키고, 각 영역마다 Classification을 수행하는 방식으로 되어있음.
또한 Proposal된 Region에서 실제 object 위치와 가까워지도록 보정해주는 Regression도 수행됨.

1-Stage Object Detector : 탐색 영역을 찾는 Region Proposal과 해당 영역을 분류하는 Detection 두 가지 과정을 한번에 처리하는 방법론
- SSD, YOLO
- 빠르지만 부정확하다

2-Stage Object Detector : 두 가지 과정이 순차적으로 수행되는 방법론
- Fast R-CNN, Faster R-CNN
- 비교적 느리지만 정확하다

[Android] adb 자주쓰는 명령어 모음 / adb 명령어로 APK 추출

빈나는 — Tue, 7 Jan 2020 15:54:52 +0900

1. adb shell 실행

#adb shell

2. 설치된 패키지 검색

$pm list packages -f

특정 단어를 포함한 package 찾기

$pm list packages -f|grep "검색어"

3. apk 추출하기

ex)package:/data/app/com.example.app-1.apk=com.example.app

위 검색 결과 중 빨간색 문자만 쓴다.

#adb pull /data/app/~~~~.apk downloaded.apk

4. 현재 실행중인 application name 가져오기

#adb shell dumpsys window windows | find "mCurrentFocus"

단일 스레드와 멀티 스레드

빈나는 — Fri, 28 Dec 2018 16:16:20 +0900

단일 스레드와 멀티 스레드

스레드란?

스레드는 CPU의 이용의 기본 단위다.

프로세스 내에서 프로그램 명령을 실행하는 기본 단위이자 흐름, 개체라고 할 수 있다.

스레드는 스레드 ID, 프로그램 카운터, 레지스터 집합, 스택 으로 구성된다.

스레드는 같은 프로세스에 속한 다른 스레드와 코드, 데이터 섹션, 열린 파일이나 신호와 같은 운영체제 자원들을 공유한다.

프로세스에 하나의 제어 모델이 있으면 단일 스레드이며,

프로세스가 다수의 제어 스레드를 가진다면 다중 스레드 모델이다.

단일 스레드

- 하나의 프로세스에서 하나의 스레드 실행

- 하나의 레지스터와 스택으로 표현

멀티 스레드

- 프로그램을 다수의 실행 단위로 나누어 실행

- 프로세스 내에서 자원을 공유하여 자원생성과 관리의 중복을 최소화

- 서버가 많은 요청을 효율적으로 수행할 수 있는 환경을 제공

- 각각의 스레드가 고유의 레지스터와 스택으로 표현됨

단일 스레드 모델

다양한 요인드이 결합된 데이터에 대한 통계적 분석 연산의 경우는 멀티 스레드 모델이 더 적합하다.

필요한 구간에 여러 개의 스레드를 배치해 시스템 자원을 최대한 활용하여 빠르게 연산을 완료하도록 설계할 수 있다.

하지만 이와 같은 상황을 모든 프로그램이 맞닥뜨리는 것은 아니다.

요청에 대한 빠른 반응을 요구하는 네트워크 서버의 프로그램일 경우 단일 스레드 모델이 더 적합할 수도 있다.

단일 스레드와 멀티스레드의 장단점

단일 스레드의 장점

1) 자원 접근에 대한 동기화를 신경쓰지 않아도 된다.

여러 개의 스레드가 공유된 자원을 사용할 경우 각 스레드가 원하는 결과를 얻게 하려면

공용 자원에 대한 접근이 통제되어야 하며 이 작업은 프로그래머에게 많은 노력을 요구하고 비용을 발생시킨다.

단일 스레드 모델에서는 이러한 작업이 필요하지 않다.

2) 문맥 교환(context switch) 작업을 요구하지 않는다.

문맥 교환은 여러 개의 프로세스가 하나의 프로세서를 공유할 때 발생하는 작업으로 많은 비용을 필요로 한다.

단일 스레드의 단점

1) 여러 개의 CPU를 활용하지 못한다.

프로세서를 최대한 활용하게 하려면 cluster 모듈을 사용하거나 외부에서 여러 개의 프로그램 인스턴스를 실행시키는 방법을 사용해야 한다.

이 때 고려해야할 문제가 있는데, 바로 다수의 프로그램 인스턴스가 어떻게 상태를 공유할 것인가에 대한 문제다.

사실 이것은 멀티 스레드 환경의 서버 프로그램도 확장성을 확보하기 위해 풀어야 할 숙제이긴 하다.

단순하고 빠른 메모리 기반 NoSQL 데이터 베이스인 Redist가 좋은 고려대상이다.

하지만 서버 프로그램 인스턴스 간 상태 공유를 최소화하거나 가능하면 없애는 방향으로 아키텍처를 설계하는 것이 가장 바람직한 방법이라고 한다.

멀티 스레드의 장점

1) 새로운 프로세스를 생성하는 것보다 기존 프로세스에서 스레드를 생성하는 것이 빠르다.

2) 프로세스의 자원과 상태를 공유하여 효율적으로 운영이 가능하다

3) 프로세스의 문맥교환보다 스레드의 문맥교환이 더 빠르다.

멀티 스레드의 단점

1) 하나의 스레드만 실행중일 때에는 실행시간이 되려 지연될 수 있다.

2) 멀티 스레딩을 위해 운영체제의 지원이 필요하다.

3) 스레드 스케쥴링을 신경써야 한다.

[딥러닝] 로지스틱 회귀: 참 거짓의 판단 장치

빈나는 — Wed, 26 Dec 2018 19:51:42 +0900

아래 내용은 '모두의 딥러닝' 책을 스터디 하여 정리한 내용입니다.

참 거짓 판단 장치: 로지스틱 회귀

참과 거짓 중에 하나를 내놓는 과정은 로지스틱 회귀의 원리를 거쳐 이루어진다.

참, 거짓을 구분하는 로지스틱 회귀의 원리를 이용해 '참, 거짓 미니 판단 장치'를 만들어 주어진 입력 값의 특징을 추출하고,

이를 저장해서 '모델'을 만든다.

그 후 누군가 비슷한 질문을 하면 지금까지 만들어 놓은 이 모델을 꺼내어 답을 한다.

이것이 바로 딥러닝의 동작 원리이다.

1. 로지스틱 회귀의 정의

좌표의 형태가 직선으로 해결되기에 적절하지 않은 경우도 있다.

예를 들어 공부한 시간에 따른 합격 여부가 있다고 해보자.

합격을 1, 불합격을 0이라고 했을 때 이는 일차 방정식을 만들 수 있을까?

점들의 특성을 정확하게 담아내려면 직선이 아니라 다음과 같이 S자 형태여야 한다.

이처럼 로지스틱 회귀는 선형 회귀와 마찬가지로

적절한 선을 그려가는 과정이다.

다만, 직선이 아니라 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어주는 작업이다.

2. 시그모이드 함수

이렇게 S자 형태로 그래프가 그려지는 함수가 시그모이드 함수이다.

우리가 구해야 하는 값은 결국 ax+b이다.

앞서 구한 직선 방정식과는 다르게 여기에서 a와 b는 어떤 의미를 가지고 있을까?

먼저 a는 그래프의 경사도를 결정한다.

a값이 커지면 경사가 커지고 a값이 작아지면 경사가 작아진다.

b는 그래프의 좌우이동을 의미한다.

b가 크면 오른쪽(+)으로, 작아지면 왼쪽(-)으로 이동한다.

따라서 a와 b의 값이 클수록 오차가 생긴다.

a가 작아질수록 오차는 무한대로 커지지만, a가 커진다고 해서 오차가 무한대로 커지지는 않는다.

b값은 너무 크거나 작을 경우 오차가 무한대로 커지므로 이차 함수 그래프로 표현할 수 있다.

3. 오차 공식

시그모이드 함수에서 a와 b의 값을 어떻게 구할까?

경사하강법으로 구할 수 있다.

경사 하강법은 먼저 오차를 구한 다음 오차가 작은 쪽으로 이동시키는 방법이었다.

그렇다면 이번에도 오차를 구하는 공식이 필요한데, 오차 공식을 도출하기 위해

시그모이드 함수 그래프의 특징을 살펴보면,

y값이 0과 1 사이라는 것이다.

따라서 실제 값이 1일 때 예측 값이 0에 가까워지면 오차가 커져야 한다.

반대로 실제 값이 0일 때 예측 값이 1에 가까워지는 경우에도 오차가 커진다.

이를 공식으로 만들 수 있게 해 주는 함수가 바로 로그 함수이다.

4. 로그 함수

공식을 보면 실제 값 y가 1이면 B부분이 없어지고 0이면 A부분이 없어진다.

따라서 y값에 따라 각 그래프를 사용하게 된다.

5. 코딩으로 확인하기(로지스틱 회귀)

오차(loss)값이 점점 줄어들고 a와 b의 최적값을 찾아가는 것을 볼 수 있다.

6. 여러 입력 값을 갖는 로지스틱 회귀

선형 회귀때와 마찬가지로 변수가 많아지면 더 정확하게 예측을 할 수 있다.

변수가 x에서 x1, x2로 추가되면 각각의 기울기 a1, a2도 계산해야 한다.

즉 ax부분이 a1x1 + a2x2로 바뀐다. 이는 행렬곱을 이용해 [a1, a2] * [x1, x2] 로도 표현할 수 있다.

텐서플로에서는 matmul() 함수를 이용해 행렬곱을 적용할 수 있다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
import tensorflow as tf
import numpy as np
 
# 실행할 때마다 같은 결과를 출력하기 위한 seed값 설정
seed = 0
np.random.seed(seed)
tf.set_random_seed(seed)
 
# x,y의 데이터 값
x_data = np.array([[2, 3], [4, 3], [6, 4], [8, 6], [10, 7], [12, 8], [14, 9]])
y_data = np.array([0, 0, 0, 1, 1, 1, 1]).reshape(7, 1)
 
# 입력 값을 플레이스 홀더에 저장 (플레이스홀더는 입력 값을 저장하는 일종의 그릇이다)
X = tf.placeholder(tf.float64, shape=[None, 2])
Y = tf.placeholder(tf.float64, shape=[None, 1])
 
# a와 b의 값을 임의로 정한다.
a = tf.Variable(tf.random_uniform([2, 1], dtype=tf.float64)) # [2,1] 의미 : 들어오는 값은 2개, 나가는 값은 1개
b = tf.Variable(tf.random_uniform([1], dtype=tf.float64))
 
# y 시그모이드 함수의 방정식을 세운다.
# 변수가 x에서 x1, x2로 추가되면 각각의 기울기 a1, a2도 계산해야 한다.
# 즉 ax부분이 a1x1 + a2x2로 바뀐다. 이는 행렬곱을 이용해 [a1, a2] * [x1, x2] 로도 표현할 수 있다.
# 텐서플로에서는 matmul() 함수를 이용해 행렬곱을 적용할 수 있다.
y = tf.sigmoid(tf.matmul(X, a) + b)
 
# loss를 구하는 함수
loss = -tf.reduce_mean(Y * tf.log(y) + (1-Y) * tf.log(1-y))
 
# 학습률 값
learning_rate = 0.1
 
# loss를 최소로 하는 값 찾기
gradient_decent = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
 
predicted = tf.cast(y > 0.5, dtype=tf.float64)
accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, Y), dtype=tf.float64))
 
# 학습
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
 
    for i in range(3001):
        a_, b_, loss_, _ = sess.run([a, b, loss, gradient_decent], feed_dict={X: x_data, Y: y_data})
        if (i+1) % 300 == 0:
            print("step=%d, a1=%.4f, a2=%.4f, b=%4f, loss=%.4f" % (i+1, a_[0], a_[1], b_, loss_))
 
    # 실제 값 적용하기
    new_x = np.array([7, 6.]).reshape(1, 2) # 7, 6은 각각 공부한 시간과 과외 수업 수
    new_y = sess.run(y, feed_dict={X: new_x})
 
    print("공부한 시간 : %d, 과외 수업 횟수: %d" % (new_x[:,0], new_x[:,1]))
    print("합격 가능성: %6.2f %%" % (new_y*100))
Colored by Color Scripter
cs

오차 값이 점차 줄어들고 a1, a2, b가 각각 최적값을 찾아가는 것을 알 수 있다.

7. 실제 값 적용하기

공부한 시간과 과외 수업 횟수에 대한 예측 값을 구해보자.

예를들어 7시간 공부하고 과외를 6번 받은 학생의 합격 가능성을 계산해 보겠다고 하자.

# 실제 값 적용하기

new_x = np.array([7, 6.]).reshape(1, 2) # 7, 6은 각각 공부한 시간과 과외 수업 수

new_y = sess.run(y, feed_dict={X: new_x})

print("공부한 시간 : %d, 과외 수업 횟수: %d" % (new_x[:,0], new_x[:,1]))

print("합격 가능성: %6.2f %%" % (new_y*100))

[실제 결과]

공부한 시간 : 7, 과외 수업 횟수: 6

합격 가능성: 85.66 %

8. 로지스틱 회귀에서 퍼셉트론으로

입력 값을 통해 출력 값을 구하는 함수 y는 다음과 같이 표현할 수 있었다.

y = a1x1 + a2x2 + b

우리가 가진 값은 x1, x2이고 이를 입력값이라고 한다.

그리고 계산으로 얻는 값 y를 출력 값이라고 한다.

즉 출력 값 y를 구하려면 a값과 b 값이 필요하다.

x1과 x2가 입력되고, 각각 가중치 a1, a2를 만난다. 여기에 b 값을 더한 후 시그모이드 함수를 거쳐 1 또는 0의 출력 값 y를 출력한다.

1957년, 코넬 항공 연구소의 프랑크 로젠블라트라는 사람이 이 개념을 고안해 발표하고 여기에 '퍼셉트론'이라는 이름을 붙였다.

이 퍼셉트론은 그 후 여러 학자들의 노력을 통해 인공신경망, 오차 역전파 등의 발전을 거쳐 지금의 딥러닝으로 이어지게 된다.

[딥러닝] 경사 하강법 (오차 수정하기)

빈나는 — Mon, 24 Dec 2018 15:55:14 +0900

오차 수정하기: 경사 하강법

그래프에서 오차를 비교하여 가장 작은 방향으로 이동시키는 방법

미분 기울기를 이용

미분 : 한 점에서의 순간 기울기

함수 f(x)를 x로 미분하라는 것은,

x의 변화량이 0에 가까울 만큼 작을 때

y 변화량의 차이를

x 변화량으로 나눈 값(순간 변화율)을 구하라는 뜻

1. 경사 하강법

이차 함수 그래프에서 기울기 a를 변화시켜서 그 자리에서 미분하면 각 점에서의 순간 기울기가 그려진다.

우리가 찾는 최솟값 m에서의 순간 기울기는

이차 함수 포물선이므로, x축과 평행한 선이 된다.

즉 기울기가 0이다.

따라서 우리가 할 일은 '미분 값이 0인 지점'을 찾는 일이다.

이를 위해 다음 과정을 거치는데

1) a1에서 미분을 구한다

2) 구해진 기울기의 반대 방향으로 이동시킨 a2에서의 미분을 구한다

3) a3에서 미분을 구한다

4) 3)의 값이 0이 아니면 위 과정을 계속 반복한다.

경사 하강법은 이렇게 반복적으로 기울기 a를 변화시켜서 m의 값을 찾아내는 방법이다.

2. 학습률

학습률을 너무 크게 잡으면 한 점으로 수렴하지 않고 발산한다.

따라서 어느 정도 이동시킬지 신중히 결정해야 하는데,

이때 이동 거리를 정해주는 것이 바로 학습률이다.

딥러닝에서는 학습률의 값을 적절히 바꾸면서 최적의 학습률을 찾아 가는 것은

중요한 최적화 과정 중 하나이다.

참고) '케라스는 학습률을 자동으로 조절해 준다고 한다.'

다시 말해, 경사하강법은 오차의 변화에 따라 이차 함수 그래프를 만들고

적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것이다.

y절편 b의 값도 같은 성질을 가지고 있어서, b값이 너무 크거나 작으면 오차도 함께 커진다.

그래서 최적의 b값을 구할 때 또한 경사 하강법을 사용한다.

3. 코딩으로 확인하기 (경사 하강법)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import tensorflow as tf
 
# x,y의 데이터 값
data = [[2, 81], [4, 93], [6, 91], [8, 97]]
x_data = [x_row[0] for x_row in data]
y_data = [y_row[1] for y_row in data]
 
# 기울기 a와 y절편 b의 값을 임의로 정한다.
# 단, 기울기의 범위는 0~10 사이이며, y절편은 0~100 사이에서 변하게 한다.
a = tf.Variable(tf.random_uniform([1], 0, 10, dtype= tf.float64, seed=0))
b = tf.Variable(tf.random_uniform([1], 0, 100, dtype= tf.float64, seed=0))
 
# y에 대한 일차 방정식 ax+b의 식을 세운다.
y = a*x_data + b
 
# 텐서플로 RMSE 함수
rmse = tf.sqrt(tf.reduce_mean(tf.square(y-y_data)))
 
# 학습률 값
learning_rate = 0.1
 
# RMSE 값을 최소로 하는 값 찾기
# tensorflow의 GradientDescentOptimizer() 함수를 이용해 경사 하강법을 구할 수 있다.
gradient_decent = tf.train.GradientDescentOptimizer(learning_rate).minimize(rmse)
 
# 텐서플로를 이용한 학습
with tf.Session() as sess:
    # 변수 초기화
    sess.run(tf.global_variables_initializer())
    # 2001번 실행(0번째를 포함하므로)
    for step in range(2001):
        sess.run(gradient_decent)
        # 100번마다 출력
        if step % 100 == 0:
            print("Epoch: %.f, RMSE = %.04f, 기울기 a = %.4f, y절편 b = %.4f" % (step, sess.run(rmse), sess.run(a), sess.run(b)))
 
 
# 평균 제곱근 오차(RMSE)의 변화와 기울기 a가 2.3에 수렴하는 것, y절편 b가 79에 수렴하는 과정을 확인할 수 있다.
# 기울기 2.3과 y절편 79는 앞서 최소제곱법을 통해 미리 확인한 정답과 같다.
# 이렇게 하면 최소 제곱법을 쓰지 않고 기울기 a와 y절편 b의 값을 구할 수 있다.
# 평균 제곱근 오차와 경사하강법을 통해서 말이다.
# 이와 같은 방식을 x가 여러 개인 다중 선형 회귀에서도 사용한다.
Colored by Color Scripter
cs

4. 다중 선형 회귀

상황에 따라 더 정확한 예측을 위해 추가 정보를 입력해야 하며,

정보를 추가해 새로운 에측 값을 구하려면 변수의 개수를 늘려 '다중 선형 회귀'를 만들어 주어야 한다.

예를 들어 x2로 과외 수업 횟수의 독립 변수가 생겼다고 가정하면

y = a1x2 + a2x2 + b 와 같은 식이 나온다.

이 두 기울기 a1, a2는 어떻게 구할 수 있을까?

경사 하강법을 그대로 적용하면 된다.

5. 코딩으로 확인하기 (다중 선형 회귀)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import tensorflow as tf
 
# x1, x2, y의 데이터 값
data = [[2, 0, 81], [4, 4, 93], [6, 2, 91], [8, 3, 97]]
x1 = [x_row1[0] for x_row1 in data]
x2 = [x_row2[1] for x_row2 in data] # 새로 추가되는 값
y_data = [y_row[2] for y_row in data]
 
# 기울기 a와 y절편 b의 값을 임의로 정한다.
# 단, 기울기의 범위는 0~10 사이이며, y절편은 0~100 사이에서 변하게 한다.
a1 = tf.Variable(tf.random_uniform([1], 0, 10, dtype= tf.float64, seed=0))
a2 = tf.Variable(tf.random_uniform([1], 0, 10, dtype= tf.float64, seed=0)) # 새로 추가되는 값
b = tf.Variable(tf.random_uniform([1], 0, 100, dtype= tf.float64, seed=0))
 
# y에 대한 일차 방정식 ax+b의 식을 세운다.
y = a1*x1 + a2*x2 + b
 
# 텐서플로 RMSE 함수
rmse = tf.sqrt(tf.reduce_mean(tf.square(y-y_data)))
 
# 학습률 값
learning_rate = 0.1
 
# RMSE 값을 최소로 하는 값 찾기
# tensorflow의 GradientDescentOptimizer() 함수를 이용해 경사 하강법을 구할 수 있다.
gradient_decent = tf.train.GradientDescentOptimizer(learning_rate).minimize(rmse)
 
# 텐서플로를 이용한 학습
with tf.Session() as sess:
    # 변수 초기화
    sess.run(tf.global_variables_initializer())
    # 2001번 실행(0번째를 포함하므로)
    for step in range(2001):
        sess.run(gradient_decent)
        # 100번마다 출력
        if step % 100 == 0:
            print("Epoch: %.f, RMSE = %.04f, 기울기 a1 = %.4f, 기울기 a2 = %.4f, y절편 b = %.4f" % (step, sess.run(rmse), sess.run(a1), sess.run(a2), sess.run(b)))
 
 
# 이를 그래프로 표현하면 1차원 예측 직선이 3차원 '예측 평면'으로 바뀐다.
# 과외 수업 횟수라는 새로운 변수가 추가되면서 1차원 직선에서만 움직이던 예측 결과가 더 넓은 평면 범위 안에서 움직이게 되고,
# 이로 인해 좀 더 정밀한 예측을 할 수 있다.
Colored by Color Scripter
cs

[딥러닝] 선형 회귀

빈나는 — Mon, 24 Dec 2018 14:16:01 +0900

선형 회귀

x값이 변함에 따라 y값도 변한다는 정의 안에서, 독립적으로 변할 수 있는 값 x를 독립 변수라고 한다.

또한, 이 독립 변수에 따라 종속적으로 변하는 y를 종속변수라고 한다.

선형회귀 : 독립변수 x를 사용해 종속변수 y의 움직임을 예측하고 설명하는 작업을 말한다.

정확한 직선을 그려내는 과정이다.

독립변수가 x 하나뿐이어서 이것만으로 정확히 설명할 수 없을 때는 x1, x2, x3...등 x값을 여러 개 준비해 놓을 수 있다.

단순선형회귀 : 하나의 x값만으로도 y값을 설명할 수 있을 때

(ex : '공부한 시간'에 따른 성적)

다중선형회귀 : x값이 여러개 필요할 때

1. 가장 훌륭한 예측선 그리기

y = ax + b 의 식으로 일차 함수 그래프를 나타낼 수 있다.

선형 회귀는 결국 최적의 a, b값을 찾아내는 작업이다.

2. 최소 제곱법

최소 제곱법이란 회귀 분석에서 사용되는 표준 방식이다.

최소제곱법을 통해 기울기 a와 y절편 b의 값을 구하면서, 가장 잘 그어진 예측 직선을 그릴 수 있다.

a = x의 편차(각 값과 평균과의 차이)를 제곱해서 합한 값을 분모로 놓고,

x와 y의 편차를 곱해서 합한 값을 분자로 놓으면 기울기가 나온다.

b = y의 평균에서 x의 평균과 기울기의 곱을 빼면 b의 값이 나온다.

이렇게, a와 b의 값을 구하여 할당한 후

x를 대입했을 때 나오는 y의 값을 '예측 값'이라고 부른다.

좌표 평면에 예측 값을 찍은 후, 이 점들을 연결해 직선을 그으면

오차가 최저가 되는 직선이 완성된다.(예측 직선)

이 직선에 다른 x의 값을 넣어서 y 값을 예측할 수 있다.

3. 코딩으로 구현해보기 (최소 제곱법)

4. 평균 제곱근 오차

이렇게 선을 그리고 난 후 얼마나 잘 그려졌는지를 평가하는 오차 평가 알고리즘이 필요하다.

오차를 평가하는 방법 중 가장 많이 사용되는 평균 제곱근 오차에 대해 알아보자.

5. 잘못 그은 선 바로잡기

오차 = 실제 값 - 예측 값

오차의 합을 구할 때는, 부호를 없애야 정확한 오차를 구할 수 있기 때문에

각 오차의 값을 제곱해준다.

오차의 합에 n으로 나누면 오차 합의 평균을 구할 수 있다.(평균 제곱 오차)

평균 제곱 오차에 제곱근을 씌워 단위를 낮춘다. 이를 평균 제곱근 오차 라고 한다.

정리하면, '평균 제곱근 오차'의 계산 결과가 가장 작은 선을 찾는 작업이다.

선형 회귀란 임의의 직선을 그어 이에 대한 평균 제곱근 오차를 구하고, 이 값을 가장 작게 만들어 주는 a와 b를 찾아가는 작업이라고 말할 수 있다.

6. 코딩으로 구현해보기 (평균 제곱근 오차)

이렇게 오차가 약 3.3166이라는 것을 알았다.

이제 남은 것은 이 오차를 줄이면서 새로운 선을 긋는 것이다.

이를 위해서는 a와 b의 값을 적절히 조절하면서 오차의 변화를 살펴보고,

그 오차가 최소화되는 a와 b의 값을 구해야 한다.

[Docker] Dockerfile 명령어

빈나는 — Fri, 21 Dec 2018 17:59:13 +0900

Dockerfile 명령어

FROM : 베이스 이미지 지정

MAINTAINER : Dockerfile 생성자

RUN : 커맨드 실행

CMD : 데몬 실행

LABEL : 라벨 설정

EXPOSE : 포트 export

ENV : 환경변수 설정

ADD : 파일 및 디렉터리 추가

COPY : 파일 복사

VOLUME : 볼륨 마운트

ENTRYPOINT : 데몬 실행

USER : 사용자 설정

WORKDIR : 작업 디렉터리 지정

ONBUILD : build 완료 후 실행될 명령어

Dockerfile로 Docker이미지 생성

docker build -t [생성할 이미지명]:[태그명] [Dockerfile 경로]