해보고나면 별거아니다

(JPA) find date between 날짜 사이 찾기

isntyet — Tue, 18 Feb 2020 11:44:15 +0900

@Entity(name = "test_jojo")
@Getter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
public class Jojo {

    @Id
    @GeneratedValue
    @Column(name = "jo_id")
    private Long joId;

    @Column
    private LocalDateTime regDate;

}

public interface JojoRepository extends JpaRepository<Jojo, Long> {

    List<Jojo> findAllByRegDateBetween(LocalDateTime start, LocalDateTime end);

}

public void test() {
  LocalDateTime startDatetime = LocalDateTime.of(LocalDate.now().minusDays(1), LocalTime.of(0,0,0));
  LocalDateTime endDatetime = LocalDateTime.of(LocalDate.now(), LocalTime.of(23,59,59));

  jojoRepository.findAllByRegDateBetween(startDatetime, endDatetime));
}

(spring boot) org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'stackResourceRegistryFactoryBean'

isntyet — Mon, 25 Mar 2019 09:42:27 +0900

어쩌다 스프링부트로 프로젝트를 시작하게 되어 초기 설정을 하는 와중에

aws client 사용을 위해, 관련 설정을 하다가 에러가 발생하였다.

implementation 'org.springframework.cloud:spring-cloud-starter-aws'

implementation 'org.springframework.cloud:spring-cloud-starter-aws-messaging'

위 dependencies를 추가하고

application.properties 에 분명 설정을 다한 것 같은데 run시 에러가 계속 발생하였다.

cloud.aws.credentials.access-key=엑세스키
cloud.aws.credentials.secret-key=시크릿키
cloud.aws.region.auto=false

Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'stackResourceRegistryFactoryBean' defined in class path resource [org/springframework/cloud/aws/autoconfigure/context/ContextStackAutoConfiguration.class]: Bean instantiation via factory method failed; nested exception is org.springframework.beans.BeanInstantiationException: Failed to instantiate [org.springframework.cloud.aws.core.env.stack.config.StackResourceRegistryFactoryBean]: Factory method 'stackResourceRegistryFactoryBean' threw exception; nested exception is java.lang.IllegalArgumentException: No valid instance id defined

알아보니

로컬에서 실행할때는 아래와 같이

cloud.aws.stack.auto=false

해당 설정을 추가해줘야 한다고 한다.

aws ec2환경에서 실행했으면 해당 설정을 하지 않아도 상관없다고 하는데, 로컬에서 실행할 때는 해당 설정을 해줘야 한다고 합니다.

(ec2에서 spring cloud프로젝트를 실행시키면 cloudformation 구성을 시작하는데, 이를 로컬에선 안 하기 위해서입니다)

참고 : https://jojoldu.tistory.com/300

git push 되돌리기

isntyet — Sun, 20 Jan 2019 16:44:10 +0900

git push를 했는데 잘못해서(fetch안하고 merge,push해서 개꼬였을때 )

되돌리기를 하고싶을때가 많았다. (히스토리조차 남기기 싫었다)

검색해보니 방법이 있었다.

먼저 아래 명령어로 commit id를 확인해야한다. (돌아가고 싶은 commit id)

 git log

그다음 아래 명령어에 위에서 찾은 commit id를 넣어주고 싫행 후

 git reset --hard [커밋 id]

해당 수정한 내용을 아래 명령어로 확정하면

 git push --force

되돌아 간다. (히스토리 조차 남지 않으니 쓸때 주의하자)

git command 자동완성 설정하기

isntyet — Sun, 20 Jan 2019 16:17:13 +0900

git 명령어를 치는데 탭을 갈겨도 자동완성이 안된다..

명령어를 풀로 타이핑하는게 귀찮아서 자동완성 세팅을 찾아봤다.

먼저 아래 명령어를 터미널에서 쳐준다.

(물론 homebrew는 설치된 상태로)

 brew install git bash-completion

그다음 mac기준으로

.bash_profile 에서 아래 코드를 추가해준다

# git autocomplete config

[ -f /usr/local/etc/bash_completion ] && . /usr/local/etc/bash_completion

위 코드를 추가한 후 저장한다음에

source ~/.bash_profile

실행해주고 git 커맨드를 치는중에 기억이 안난다면 tab을 눌러보면 해당되는 명령어들을 리스팅해줄것이다.

AWS SES Bounce 처리

isntyet — Sat, 17 Nov 2018 19:15:28 +0900

SES (Simple E-mail Service) 을 사용중인데 어느날 AWS측에서 메일이 왔다.

이메일 반송률 (Bounce rate)이 10%를 넘어간단다...

들어가서 확인해보니

bounce rate를 5%를 밑으로 유지해야하는데 10%를 왔다갔다 하고 있었다.

지속적으로 5%이상이면 해당 SES를 사용할수 없게 막혀버리던가 계정자체가 막힐수도 있단다.

보통 해결방법을 찾아보니

SES (반송) -> SNS -> Lambda -> DynamoDB

이렇게 구성하여 다이나모DB에서 모은 반송메일주소 리스트를 가지고 발송시에 거르는 방법으로 가고있더라.

그래서 일단 해당 방법으로 나도 구현하기로 하여 시작하였다.

----------------------------------------------------------------------------------

SNS 주제 생성

먼저 SNS (Simple Notification Service)로 가서 주제를 만들어야한다.

(SES 에서 해당 주제를 설정해놓으면 반송시에 해당 SNS로 메세지가 들어간다)

위와 같이 SES-Bounce 라는 이름으로 주제를 만들었다.

(나같은 경우에는 [버지니아 북부] 리전에서 SES를 만들었었는데 해당 SNS주제를 설정하려면 같은리전에 있어야 설정할 수 있어서

SNS 주제 생성도 버지니아 북부에서 하였다.)

-------------------------------------------------------------------------------------

SES 설정

SES로 다시 가서 해당 발신 이메일을 클릭 후

Notifications -> Edit Configuration 으로 간뒤

SNS Topic Configuration -> Bounces 에서 위에서 만든 SNS 주제를 선택해준다.

여기 까지하면 해당 발신이메일로 이메일 발송 후 반송시 해당 SNS주제로 알림이 전달된다.

이제는 SNS를 이용해 람다에서 다이나모DB로 넣어주면 될듯하다.

-------------------------------------------------------------------------------------

DynamoDB 테이블 생성

Lambda 생성전에 먼저 DynamoDB 를 만들자.

AWS DynamoDB로 가서 테이블 만들기를 한 후

테이블 이름과 기본키를 정한다.

내 경우에는 ses_bounce 라는 이름으로 테이블을 만들었고,

파티션 키는 단순하게 email (문자열) 이라고 넣었다. bounce처리된 이메일주소를 키로 raw들을 쌓을 것이다.

(이렇게 이메일을 키로 해놓으면 중복 수집 생각할 필요없을듯 하여...)

나중에 파이썬에서 boto3로 데이터를 넣을거니 boto3클라이언트에 넣을 IAM을 미리생성하여

access_key와 secret_key를 발급해놓자.

-------------------------------------------------------------------------------------

Lambda 생성, 설정

이제 람다를 만들러가면 된다.

나는 파이썬으로 다이나모DB에 넣어주는 로직을 만들거기 때문에 python3.6 으로 선택하여 만들었다.

각자 맞는 언어로 알아서 만들면될듯. 참고로 DB도 나는 dynamoDB를 정하였지만,

몽고디비, RDB등 알아서 정하면된다.

람다를 생성 후 앞에 위에서 만들었던 SNS를 달아주면된다.

(마찬가지로 내가 SEN, SNS가 전부 버지니아 북부에 만들어서 해당 람다에서 SNS를 잡기위해 람다도 버지니아 북부에 만들었다)

-------------------------------------------------------------------------------------

테스트 발송, 데이터 확인

나는 boto3로 bounce처리되는 이메일을 python으로 현재 시간과 함께 다이나모DB에 적재할 것인데

SNS에서 람다로 들어왔을때의 데이터 형태를 모르기 때문에 우선 테스트발송을 해보기로 하였다.

SES에서 [Send a test email] 이라는 항목이 있는데 해당 테스트발송 기능을 이용하여

bounce@simulator.amazonses.com

이쪽으로 메일을 보내게 되면 반송이 된다

발송 후 람다로 들어오는 데이터를 찍어보니 아래와 같이 데이터가 들어왔다.

{
  'Records': [{
    'EventSource': 'aws:sns',
    'EventVersion': '1.0',
    'EventSubscriptionArn': 'arn:aws:sns:us-east-비밀비밀',
    'Sns': {
      'Type': 'Notification',
      'MessageId': 'd297a622-비밀비밀',
      'TopicArn': 'arn:aws:sns:us-east-1:비밀비밀:SES-Bounce',
      'Subject': None,
      'Message': '{"notificationType":"Bounce","bounce":{"bounceType":"Permanent","bounceSubType":"General","bouncedRecipients":[{"emailAddress":"bounce@simulator.amazonses.com","action":"failed","status":"5.1.1","diagnosticCode":"smtp; 550 5.1.1 user unknown"}],"timestamp":"2018-11-15T02:36:34.200Z","feedbackId":"비밀비밀","remoteMtaIp":"비밀비밀","reportingMTA":"dsn; 비밀비밀"},"mail":{"timestamp":"2018-11-17T02:36:33.000Z","source":"비밀비밀@naver.com","sourceArn":"arn:aws:ses:us-east-1:비밀비밀","sourceIp":"비밀비밀","sendingAccountId":"비밀비밀","messageId":"비밀비밀","destination":["bounce@simulator.amazonses.com"]}}',
      'Timestamp': '2018-11-17T02:36:34.217Z',
      'SignatureVersion': '1',
      'Signature': '비밀비밀',
      'SigningCertUrl': '비밀비밀',
      'UnsubscribeUrl': '비밀비밀',
      'MessageAttributes': {}
    }
  }]
}

어쩄든 여기서 필요한 데이터는 Records 안에 Sns 안에 Message 인데

해당 Message를 파싱하여 bounce 안에 bouncedRecipients의 emailAddress가 궁극적으로 가져오고싶은 반송 이메일 주소가 되겠다!

-------------------------------------------------------------------------------------

Python 소스작성

위의 데이터가 람다로 들어온다고 생각하고 이제 소스를 짜면 되겠다.

난 귀찮으니 따로 로컬에 프로젝트 만들지 않고

람다 코드 인라인 편집기에서 바로 작성하였다.


import logging
import json
import boto3
import os
import datetime

logger = logging.getLogger()
logger.setLevel(logging.INFO)

ACCESS_KEY = os.environ.get('ACCESS_KEY')
SECRET_KEY = os.environ.get('SECRET_KEY')

def lambda_handler(event, context):
    try:
        now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        message = event['Records'][0]['Sns']['Message']
        
        bounce_list = json.loads(message)["bounce"]["bouncedRecipients"]
        
        if len(bounce_list) > 0:
            for bounce in bounce_list:
                if str(bounce["emailAddress"]) is not None and str(bounce["emailAddress"]) != "":
                    put_email(str(bounce["emailAddress"]), str(now))
    
    except Exception as e:
        logger.error('error : {}'.format(str(e)))
    
    return True


def put_email(email, now):
    result = "fail"
    dynamo_client = boto3.client('dynamodb', region_name='ap-northeast-2',
                               aws_access_key_id=ACCESS_KEY,
                               aws_secret_access_key=SECRET_KEY)

    response = dynamo_client.put_item(
        TableName='ses_bounce',
        Item = {
            "email": {
                "S": email
            },
            "date": {
                "S": str(now)
            }
        }
    )
    
    if "ResponseMetadata" in response:
        if "HTTPStatusCode" in response["ResponseMetadata"]:
            if response["ResponseMetadata"]["HTTPStatusCode"] == 200:
                result = "success"
                
    logger.info('{} : {}, '.format(email, result))

딱히 어려움이 없는 소스이다...

데이터 들어오는거 파싱해서 emailAddress 추출한다음에 boto3를 이용하여 다이나모 디비에 넣어주면된다.

(boto3는 aws lambda python에 기본으로 들어있는듯하니 따로 모듈을 추가할 필요 없는듯 하다)

(다이나모쪽에 권한이 있는 IAM의 access_key와 secret_key를

람다 설정쪽의 [환경변수] 항목에 ACCESS_KEY, SECRET_KEY 라는 이름으로 각각 넣어놓으면 해당 키를 가져다가 boto3.client에서 설정한다)

작성 후 게시하여 위에서 했던 방법대로 테스트 발송을 해보도록 한다.

-------------------------------------------------------------------------------------

결과

테스트 발송을 해보거나 실제로 반영 후에 다이나모디비를 확인해보면

위 사진처럼 데이터가 쌓이게 된다.

발송 로직에서 해당 데이터를 긁어와 예외처리 해주면 ses bounce rate가 점차 줄어들것이다.

pycharm module 'pip' has no attribute 'main'

isntyet — Tue, 13 Nov 2018 18:41:34 +0900

pycharm에서 preference -> project:ㅇㅇㅇ -> Project Interpre에서 모듈을 인스톨하려고 했는데

module 'pip' has no attribute 'main'

위와 같은 문구가 뜨면서 에러가 났다

찾아보니 해당버전 pycharm pip에 main이 포함안되있단다

이전에는 pip 버전을 9.0.3으로 다운그레이드 해주면 된다고 하는데

현재는 pycharm을 최신버전으로 업데이트한후 다시 시도하니 잘되었다.

apt과 apt-get 차이

isntyet — Sat, 6 Oct 2018 22:29:58 +0900

apt-get은 많이 쳐봐서 자주 보았는데 요즘은 apt를 더 자주보는것 같아 둘의 차이를 찾아보니

apt-get 설명

apt-get is the command-line tool for handling packages, and may be considered the user's "back-end" to other tools using the APT library. Several "front-end" interfaces exist, such as
aptitude(8), synaptic(8) and wajig(1).

apt 설명

apt provides a high-level commandline interface for the package management system. It is intended as an end user interface and enables some options better suited for interactive usage
by default compared to more specialized APT tools like apt-get(8) and apt-cache(8).

apt-get이 먼저 나온것이고 apt는 apt-get 과 apt-cache 명령어 둘다 사용할 수 있도록 하기위해 나온것이라 한다.

둘중 아무거나 써도 상관없을듯하다

autoenv 디렉토리 접근시 pyenv auto activate

isntyet — Sat, 6 Oct 2018 22:09:52 +0900

bash에서 python 프로젝트에 접근할때마다 pyenv activate test_env 하기 귀찮아서 자동으로 해주는것을 찾다보니

autoenv라는 것을 발견해서 적용해보았다.

먼저 아래와 같이 설치후

git clone git://github.com/kennethreitz/autoenv.git ~/.autoenv
echo 'source ~/.autoenv/activate.sh' >> ~/.bash_profile
source ~/.bash_profile

해당 프로젝트 디렉토리에서 아래와 같이 설정을 해주면된다

touch .env
echo "pyenv activate test-env" > .env

이렇게 설정 후 해당 디렉토리에 들어가면

이렇게 최조에 한번 물어보는데 Y를 입력하면, 다음부터 접속시 자동으로 설정해놓은 env로 activate된다

youtube video background(screen off) stop

isntyet — Sun, 26 Aug 2018 18:56:37 +0900

안드로이드앱이 어느날 갑자기 게시 삭제가 되어 메일을 확인해보니


Issue: Violation of Device and Network Abuse policy 

We don’t allow apps that interfere with, disrupt, damage, or access in an unauthorized manner the user’s device, other devices or computers, servers, networks, application programming interfaces (APIs), or services, including but not limited to other apps on the device, any Google service, or an authorized carrier’s network.

Your app shouldn’t access or use the service or API in a manner that violates its terms of service. For example, your app shouldn't download, monetize, or access YouTube videos in a way that violates the YouTube Terms of Service.

Submit your app for another review

Read through the Device and Network Abuse policy and make appropriate changes to your app.
Make sure that your app is compliant with all other Developer Program Policies. Additional enforcement could occur if there are further policy violations.
Sign in to your Play Console and submit the update to your app.
If you’ve reviewed the policy and feel our decision may have been in error, please reach out to our policy support team. One of my colleagues will get back to you within 2 business days.

Thanks for your continued support of Google Play.

Best,

The Google Play Review Team

이런 내용의 메일이 와있었다.

이 내용으로만은 왜 삭제하였는지 알 수 없어 문의를 다시 하였더니 screen off(파워버튼)를 하여도 웹뷰에 있는 재생되고있는 유투브 비디오가 멈추지 않는다고

설명을 해주었다.

확인해보니 모든 앱에서 그런건 아니고 롤리팝 아래버전에서 스크린 off가 되어도 플레이되고 있던 비디오가 멈추지않고 돌아

화면은 꺼져있는데 비디오의 사운드가 계속 재생되는 문제가 보였다.


try{
    ((AudioManager)mContext.getSystemService(Context.AUDIO_SERVICE)).requestAudioFocus(
            new AudioManager.OnAudioFocusChangeListener() {
                @Override
                public void onAudioFocusChange(int focusChange) {}
            }, AudioManager.STREAM_MUSIC, AudioManager.AUDIOFOCUS_GAIN_TRANSIENT);
}catch (Exception e){ }

위의 소스를 onPause() 때 넣어주니

screen off때 비디오 사운드가 들리던 문제가 해결되었다.

///////////////////////////////////////

추가) 2019.01.17

이 코드를 적용할때 문제가 발견됨.

시스템 오디오를 off시켜버림.

예를들어 멜론플레이어로 음악을 들을때, 내 앱을 사용하다가 해당 소스가 실행되면 음악이 중지됨.

적용시 주의필요.

///////////////////////////////////////

추가) 2019.02.21

오디오를 정지시킬 필요없이 아래소스를 적용하면된다. 뻘짓했네;;

@Override
public void onPause(){
    super.onPause();

    try {
       webView.onPause();
    } catch(Exception e) {}
}

pause에 정지시켰으니 마찬가지로 resume에서는 webView.onResume(); 을 꼭 시켜주자

webview inject js or css

isntyet — Sun, 26 Aug 2018 18:39:32 +0900

앱에서만 로드되어야 하는 js, css가 있어서

WebViewClient의 onPageFinished 시점에 js 를 embed 시키기 위해 코드를 작성하였다.


public void injectCss(WebView wv, String link){
    if(!"".equalsIgnoreCase(link)){
        try{
            wv.loadUrl(
                    "javascript:(function() { " +
                            "var css = document.createElement('link'); " +
                            "css.rel = 'stylesheet'; " +
                            "css.type = 'text/css'; " +
                            "css.href = '" + link + "'; " +
                            "document.getElementsByTagName('head')[0].appendChild(css)" +
                            "})()"
            );
        }catch (Exception e){}
    }
}

public void injectJs(WebView wv, String link){
    if(!"".equalsIgnoreCase(link)){
        try{
            wv.loadUrl(
                    "javascript:(function() { " +
                            "var js = document.createElement('script'); " +
                            "js.type = 'text/javascript'; " +
                            "js.src = '" + link + "'; " +
                            "document.getElementsByTagName('body')[0].appendChild(js)" +
                            "})()"
            );
        }catch (Exception e){}
    }
}

onPageFinished 시점 위 함수를 호출해주면 해당 link의 js나 css를 embed 시켜주는 걸 확인 할 수 있다.

( 크롬 인스펙터로 확인하면된다 )