Elasticsearch 메모리 증가나 CPU 증가 등의 문제를 튜닝할때 참고
경험해봤던 문제의 대부분은 매핑을 오토로해서 문제가 발생함.
- 텍스트 필드를 집계하지 않도록 하거나 매핑 유형을 키워드로 변경하면 해결
'ElasticSearch > ElasticSearch' 카테고리의 다른 글
Elasticsearch의 x-pack 관련 라이센스 문제(6.3 버전부터) (0) | 2019.09.26 |
---|
Elasticsearch 메모리 증가나 CPU 증가 등의 문제를 튜닝할때 참고
경험해봤던 문제의 대부분은 매핑을 오토로해서 문제가 발생함.
- 텍스트 필드를 집계하지 않도록 하거나 매핑 유형을 키워드로 변경하면 해결
Elasticsearch의 x-pack 관련 라이센스 문제(6.3 버전부터) (0) | 2019.09.26 |
---|
#설치
yum provides /usr/bin/ab
yum install httpd-tools
#부하발생 샘플(-n은 요청 수, -c는 동시에 요청하는 요청수)
ab -n 10 -c 1 대상URL
#참고
- 설명: https://httpd.apache.org/docs/2.4/ko/programs/ab.html
- 한글 블로그 참고: https://m.blog.naver.com/PostView.nhn?blogId=dlaskarud2&logNo=221726899397&proxyReferer=https:%2F%2Fwww.google.com%2F
글로벌 서비스 개발 중에 갑자기 fiddler로 크롬에서 캡쳐가 안되는 문제가 발생했습니다.
확인해보니, 테스트를 위해서 설치한 VPN 확장도구 때문이네요.
비 활성화 후 정상으로 작동합니다.
참고
보안문제 테스트를 위한 툴 (0) | 2022.05.04 |
---|---|
스크린 캡쳐 프로그램 ShareX- 무료 (1) | 2020.09.12 |
<!-- https://mvnrepository.com/artifact/io.sentry/sentry-logback -->
<dependency>
<groupId>io.sentry</groupId>
<artifactId>sentry-logback</artifactId>
<version>3.2.0</version>
</dependency>
#sentry에 전송시 environment 구분 값(ex. local, alpha, beta, qa, real)
sentry.environment=입력필요
#sentry 에서 dsn정보 확인 후 입력
sentry.dsn=입력필요
<!-- Configure the Sentry appender -->
<appender name="SENTRY" class="io.sentry.logback.SentryAppender">
<!-- Optionally change minimum Event level. Default for Events is ERROR -->
<minimumEventLevel>ERROR</minimumEventLevel>
<!-- Optionally change minimum Breadcrumbs level. Default for Breadcrumbs is INFO -->
<minimumBreadcrumbLevel>DEBUG</minimumBreadcrumbLevel>
<options>
<!-- NOTE: Replace the test DSN below with YOUR OWN DSN to see the events from this app in your Sentry project/dashboard -->
<dsn>${sentry.dsn}</dsn>
<environment>${sentry.environment}</environment>
</options>
</appender>
intelliJ GUI를 이용한 GIT 브랜치 merge 방법 (0) | 2021.04.30 |
---|---|
pinpoint 설치 방법- 1.8.4 버전 (0) | 2019.06.26 |
오라클 사이트에서 JDK8 다운로드해서 리눅스 설치용 wget 명령어 생성 방법 (0) | 2019.05.06 |
nexus 설치 및 셋팅 (0) | 2019.03.22 |
pinpoint 설치 방법- 1.8.1 버전 (0) | 2018.12.21 |
PVS-Studio Analyzer 셋팅 참고 메모
서비스를 개발하다보면 항상 금칙어처리가 필요하게 됩니다.
금칙어 갯수가 적으면 상관 없는데 갯수가 많으면(특히 중국 서비스하면..;) 성능을 잘 생각해서 처리해야 합니다.
관련해서 참고용 TC를 만들어봤습니다.
간단히 만들어서 TC종류는 많지 않고 부족한 부분이 있을 수 있습니다.
1. 금칙어 저장테이블 DDL(참고용)
-- 금칙어 테이블 DDL샘플(Mysql). 글로벌 다국어를 감안하여 금칙어 컬럼은 'utf8mb4_bin'로 정의
CREATE TABLE `bad_word` (
`pk` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'pk',
`use_yn` ENUM('Y','N') COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT 'Y' COMMENT '사용여부',
`bad_word` VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '금칙어',
PRIMARY KEY (`pk`),
UNIQUE KEY `UNQ_badWord` (`bad_word`)
) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='금칙어'
2. maven dependency
<!-- https://mvnrepository.com/artifact/org.ahocorasick/ahocorasick -->
<dependency>
<groupId>org.ahocorasick</groupId>
<artifactId>ahocorasick</artifactId>
<version>0.4.0</version>
</dependency>
3. test case
import org.ahocorasick.trie.Emit;
import org.ahocorasick.trie.Trie;
import org.apache.commons.lang3.RandomStringUtils;
import org.junit.Assert;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.Timeout;
import java.util.Collection;
import java.util.LinkedHashSet;
import java.util.concurrent.TimeUnit;
/**
* 금칙어 성능 테스트
* - 대량(10만개 이상)의 금칙어 키워드 존재시 금칙어 여부 판단에 성능 이슈가 없도록 처리하는 테스트(샘플) 소스
* - 아호코라식 알고리즘을 활용: https://en.wikipedia.org/wiki/Aho%E2%80%93Corasick_algorithm
*
* @author
*/
class BadWordPerformanceTest {
private static int initDummyBadwordCnt = 100_000; //더미용 금칙어 초기화 갯수
private static final String findBadword = "개새끼"; //테스트용 금칙어
private static final String findBadword2 = "소새끼"; //테스트용 금칙어2
private static LinkedHashSet<String> badwords = new LinkedHashSet<>(); //linkedhaset이 contain 성능이 가장 좋음: https://dzone.com/articles/java-collection-performance
private static Trie badwordsTrie; //아호코라식용
@BeforeAll
static void init() {
for (int i = 1; i <= initDummyBadwordCnt; i++) {
//String randomBadWord = RandomStringUtils.random(30, false, false);
String randomBadWord = RandomStringUtils.randomAlphanumeric(30);
badwords.add(randomBadWord);
}
System.out.println(String.format("init 금칙어 갯수(컬렉션용): %d", badwords.size()));
//아호코라식용 초기화
long startInitAho = System.currentTimeMillis();
badwordsTrie = Trie.builder().addKeywords(badwords).addKeyword(findBadword).addKeyword(findBadword2).build(); //시간이 많이걸리니까 가능하면 초기화 후 재 사용
//badwordsTrie = Trie.builder().addKeywords(badwords).addKeyword(findBadword).addKeyword(findBadword2).onlyWholeWords().build(); //시간이 많이걸리니까 가능하면 초기화 후 재 사용
//badwordsTrie = Trie.builder().ignoreCase().ignoreOverlaps().addKeywords(badwords).build(); //아호코라식용 초기화
long endInitAho = System.currentTimeMillis();
System.out.println("아호코라식 초기화 소요시간(ms): " + (endInitAho - startInitAho));
}
/**
* 아호코라식으로도 완전일치 테스트가 가능하지만 java컬렉션을 이용해서도 구현
*/
@Test
@Timeout(value = 20, unit = TimeUnit.MILLISECONDS)
public void 금칙어_완전일치_테스트() {
badwords.add(findBadword); //테스트용 금칙어를 금칙어 셋에 추가해둠(성능 테스트를 위해 만든 대량의 금칙어에 추가)
final String notExistBadword = findBadword + System.currentTimeMillis(); //확률적으로 존재할 수 없는 금칙어
long startExactNano = System.nanoTime();
long startExactms = System.currentTimeMillis();
Assert.assertTrue(badwords.contains(findBadword));
Assert.assertFalse(badwords.contains(notExistBadword));
long endExactNano = System.nanoTime();
long endExactMs = System.currentTimeMillis();
System.out.println("\n\n완전일치 금칙어 find 소요시간(nano): " + (endExactNano - startExactNano));
System.out.println("완전일치 금칙어 find 소요시간(ms): " + (endExactMs - startExactms));
}
/**
* 성능을 위해서 포함여부 체크는 아호코라식 알고리즘을 사용
* - 구현 java 라이브러리: https://github.com/robert-bor/aho-corasick (maven mvnrepository에는 배포를 안하니 참고해서 직접 구현하거나 소스 내려받아서 빌드 후 사용)
*/
@Test
@Timeout(value = 20, unit = TimeUnit.MILLISECONDS)
public void 금칙어_포함여부_아호코라식알고리즘기반_테스트() {
String targetText_1 = "개새끼들이 뛰어놀고 있어요. 소 는 없어요";
Collection<Emit> emits_1 = excuteAho(targetText_1);
Assert.assertTrue(emits_1.size() == 1);
String targetText_2 = "개새끼들이 뛰어놀고 있어요. 옆에는 소새끼들이 있어요";
Collection<Emit> emits_2 = excuteAho(targetText_2);
Assert.assertTrue(emits_2.size() == 2);
String targetText_3 = "개가 뛰어놀고 있어요. 옆에는 소도 있어요";
Collection<Emit> emits_3 = excuteAho(targetText_3);
System.out.println(emits_3);
Assert.assertTrue(emits_3.size() == 0);
}
private Collection<Emit> excuteAho(String targetText) {
System.out.println("\n===== excuteAho: Start ");
System.out.println("금칙어가 존재하는지 검사할 텍스트:==>" + targetText);
long startNano = System.nanoTime();
long startMs = System.currentTimeMillis();
Collection<Emit> emits = badwordsTrie.parseText(targetText);
System.out.println("검출된 금칙어 갯수: " + emits.size());
for (Emit emit : emits) {
System.out.println(String.format(" 금칙어 '%s'에 매칭됨", emit.getKeyword()));
}
long endNano = System.nanoTime();
long endMs = System.currentTimeMillis();
long duNano = endNano - startNano;
long duMs = endMs - startMs;
System.out.println(String.format("아호코라식 기반 금칙어 판별 소요시간. '%d(nano)' | '%d(ms)'", duNano, duMs));
System.out.println("===== excuteAho: End ");
return emits;
}
}
java stream filter를 이용한 중복 제거 방법(샘플) (0) | 2021.04.06 |
---|---|
java 사설인증키 처리 - 1 (0) | 2021.03.31 |
JVM 계열 Local cache 추천 - 2020년 기준 (0) | 2020.11.09 |
java jvm계열 로컬캐시 (0) | 2020.09.02 |
유효한 IP인지 체크하는 java소스 샘플 (0) | 2020.06.11 |
/**
* 간단한 컬렉션 contains 성능테스트
* - https://dzone.com/articles/java-collection-performance
*
* @param args
*/
public static void main(String[] args) {
long min = 999999999;
long max = 0;
for (int t = 0; t < 200; t++) {
int cnt = 30000;
LinkedHashSet<String> badwords = new LinkedHashSet<String>(); //min:500 || max:15200
//ArrayList<String> badwords = new ArrayList<String>(); min:148100 || max:1110400
//TreeSet<String> badwords = new TreeSet<String>(); //min:3000 || max:31000
for (int i = 1; i <= cnt; i++) {
badwords.add(String.valueOf(i));
}
long startMs = System.currentTimeMillis();
long start = System.nanoTime();
badwords.contains(String.valueOf(cnt));
long end = System.nanoTime();
long endMs = System.currentTimeMillis();
long du = end - start;
System.out.println(du);
if (du > max) {
max = du;
}
if (du < min) {
min = du;
}
System.out.println("ms: " + (endMs - startMs));
}
System.out.println("\n\n");
System.out.println("min:" + min + " || max:" + max);
}
성능 유지보수 등을 감안한 java 코딩 방법(참고) (0) | 2022.02.10 |
---|---|
java 생태계의 scaffold 및 MSA 참고 가능한 프로젝트ld 및 MSA 참고 가능한 프로젝트 (0) | 2021.03.24 |
javapns 처리 예외 : javax.net.ssl.SSLException 관련 (0) | 2018.03.30 |
전에는 Guava cache, Ehcache등을 많이 사용했는데, 최근에는 Caffeine가 권장되고 있음
추후 여유되면
java 사설인증키 처리 - 1 (0) | 2021.03.31 |
---|---|
금칙어 처리(with Aho corasick 알고리즘) (0) | 2020.11.12 |
java jvm계열 로컬캐시 (0) | 2020.09.02 |
유효한 IP인지 체크하는 java소스 샘플 (0) | 2020.06.11 |
java(with spring)에서 MultipartFile를 통한 웹에서 사설 인증키를 읽어서 String으로 변환하는 샘플 소스 (0) | 2020.04.28 |