Surrogate Models

1 Design of Experiments

Overview 개요

Design of experiments(실험 계획)은 제한된 해석 예산으로 어디를 계산할지 고른다. 단면적 두 개의 공간에서 격자, 무작위, LHS를 비교한다.

기호: N은 표본 수, x는 0–1로 정규화한 단면적이다. A=1+15x cm²로 해석기에 전달한다.

Concept 개념

LHS는 각 변수 축을 N개 구간으로 나누고 구간당 한 점을 놓는다. 두 축의 구간 순서를 독립적으로 섞는다. 이는 주변 분포를 고르게 덮지만 2차원 빈 공간을 최소화하지는 않는다.

최소 점간 거리는 점들이 너무 가까운지 본다. 빈 곳의 정도는 15×15 검사 격자에서 가장 가까운 표본까지 거리의 최댓값으로 근사한다. 두 값은 서로 다른 목적이다.

N이 제곱수가 아니면 격자는 올림한 √N 크기로 만들고 앞 N점을 사용한다. 따라서 불완전한 마지막 행이 생길 수 있다.

Summary 정리

• 시드가 같으면 같은 표본을 다시 만든다.
• 최소 점간 거리와 빈 곳 크기를 함께 확인한다.
• 표본 수를 늘리는 비용도 예산에 포함된다.

Notation 기호

References 참고문헌

1. McKay, Beckman & Conover (1979). A Comparison of Three Methods for Selecting Values of Input Variables in the Analysis of Output from a Computer Code. Technometrics.

2 Fitting Surrogates

Overview 개요

Surrogate model(대리 모델)은 해석기 입력과 출력의 관계를 작은 데이터로 근사한다. 동일한 트러스 처짐 표본으로 다항식, GP, 작은 신경망을 직접 맞춘다.

기호: X는 단면적 표본, y는 해석 변위, ŷ는 예측 변위다.

Concept 개념

다항식은 총차수 항을 사용하고 작은 ridge 항 10⁻⁸을 더해 선형시스템을 푼다. GP(Gaussian Process)는 RBF 커널, 길이척도 0.32, 대각항 10⁻⁶을 사용한다. 하이퍼파라미터는 정한 값이다.

작은 신경망은 2→12→1 구조, tanh 활성화, 650회 전체 배치 경사하강법으로 현재 표본에서 직접 학습한다. 출력은 평균·표준편차로 정규화한다. 사전 학습 가중치는 없다.

실제 지도와 예측 지도는 동일한 색 범위를 쓴다. 오차 지도는 예측−실제 값이며, RMSE는 별도의 15×15 검사 격자에서 계산한다. 이 지도용 해석 225회는 표본 비용과 구분해 센다.

Summary 정리

• 세 모델은 같은 입력과 출력을 쓴다.
• 복잡한 모델이 항상 더 정확하지는 않다.
• 예측 오차는 모델 바깥의 해석값으로 계산한다.

Notation 기호

References 참고문헌

1. Rasmussen & Williams (2006). Gaussian Processes for Machine Learning, Chapter 2. MIT Press.
2. Rumelhart, Hinton & Williams (1986). Learning representations by back-propagating errors. Nature.

3 Validation

Overview 개요

Validation(검증)은 맞추는 데 쓰지 않은 점에서 근사 오차를 잰다. 표본 수와 다항식 차수를 바꾸며 학습 오차와 검증 오차의 차이를 본다.

기호: N은 학습 표본 수, M=100은 고정한 독립 검증점 수, e는 RMSE다.

Concept 개념

모델 간 비교는 동일한 100개 검증점을 사용한다. 이 점들은 다른 난수 시드로 만들고 학습에 넣지 않는다. 표본 수마다 LHS를 새로 만들기 때문에 곡선이 단조롭게 내려갈 필요는 없다.

5-fold 교차검증은 다항식에 적용한다. 인덱스를 다섯 묶음으로 나누고 네 묶음으로 맞춰 남은 묶음을 예측한다. 모든 제외 예측의 제곱오차를 합쳐 RMSE를 계산한다.

차수가 높으면 계수 수 (d+1)(d+2)/2가 증가한다. 표본보다 계수가 많을 때 ridge가 해를 정의해도 안정적인 일반화를 보장하지 않는다.

Summary 정리

• 학습 오차만으로 모델을 고르지 않는다.
• 독립 검증과 교차검증은 다른 표본 분할이다.
• 표본 수 변화와 모델 복잡도 변화를 구분한다.

Notation 기호

References 참고문헌

1. Stone (1974). Cross-Validatory Choice and Assessment of Statistical Predictions. Journal of the Royal Statistical Society, Series B.

4 Active Learning & Bayesian Optimization

Overview 개요

Active learning(능동 표본 선택)은 지금 부족한 정보를 보완할 다음 점을 고른다. Bayesian optimization(베이지안 최적화)은 개선 가능성까지 고려해 좋은 설계를 찾는다.

기호: μ·σ는 GP 예측 평균·표준편차, fₘᵢₙ은 지금까지의 최저 목적값이다.

Concept 개념

초기 LHS 5점 이후 한 번 누를 때 해석 1회를 추가한다. 20×20 후보 격자에서 EI(Expected Improvement) 또는 예측 표준편차가 가장 큰 점을 고른다. 이미 계산한 점은 제외한다.

목적값은 m/200에 처짐 9 mm 위반의 제곱 벌점 80을 더한 값이다. 질량만 최소화하면 모든 단면적을 하한으로 두는 자명한 답이 나오므로 제약을 함께 다룬다.

무작위·LHS도 동일한 총 해석 횟수로 비교한다. LHS 기준선은 현재 총 예산으로 만든 고정 계획이며 예산을 바꾸면 이전 표본도 바뀔 수 있다. GP 분산은 정한 커널에 따른 모델 불확실성이다.

Summary 정리

• 불확실성 탐색과 목적값 개선은 서로 다른 선택 기준이다.
• 후보 지도 계산은 새 해석을 소비하지 않는다.
• 같은 예산의 기준선과 비교해 해석 비용을 판단한다.

Notation 기호

References 참고문헌

1. Jones, Schonlau & Welch (1998). Efficient Global Optimization of Expensive Black-Box Functions. Journal of Global Optimization.
2. Rasmussen & Williams (2006). Gaussian Processes for Machine Learning, Chapter 2. MIT Press.