バイセル Tech Blog

バイセル Tech Blogは株式会社BuySell Technologiesのエンジニア達が知見・発見を共有する技術ブログです。

バイセル Tech Blog

AWS SDK for Go v2 を使ってS3に画像をアップロードする

はじめに

21年度新卒として入社したテクノロジー戦略本部の早瀬です。 前回の記事に続き、AWS SAM+Golangでサーバーサイドの実装の紹介をしたいと思います。

概要

今回の記事で実装するアーキテクチャはシンプルですが下記のようになります。

APIGatewayにPOSTされた画像を、lambda経由でS3にアップロードして登録したファイル名の配列を返します。 デプロイにAWS SAM、API定義にOpenAPIを使用していきます。また、OpenAPI Generatorを使用してサーバーサイドで使用するコードを自動生成して使用していきます。

AWS SDK for Go v2とは

AWS SDK for Go v2とはAWSサービスを使用するGoアプリケーションを構築するために、使用できるAPIやユーティリティを提供してくれる公式のSDKです。2021年の1月にv2が一般公開されたばかりで、今回はこちらを使用してlambdaからS3に画像をアップロードする実装をしていきたいと思います。

環境

  • AWS CLI 2.1.4
  • SAM CLI 1.23.0
  • Golang 1.16

プロジェクト生成

まずはプロジェクトを生成していきます。

$ sam init

-----------------------
Generating application:
-----------------------
Name: sam-app
Runtime: go1.x
Dependency Manager: mod
Application Template: hello-world
Output Directory: .

生成されたプロジェクトをもとに下記のような下記のような構成にします。

 ├── document
 │   └── openapi.yaml
 │   └── Makefile
 ├── upload-image
 │   └── main.go
 ├── pkg
 │   └── s3
 │       └── s3.go
 ├── go.mod
 ├── go.sum
 ├── docker-compose.yaml
 └── template.yaml

今回はopenapi.yamlからコードを自動生成するのでdocumentディレクトリ配下にファイルを作成しています。

ローカル環境構築

ローカル環境を構築するためにdocker-compose.yamlを記述していきます。ローカルでのS3はlocakstackというツールを使用して構築します。またsam localで起動するhttpサーバーやlambdaはDocekr上で起動するので、その際に独自で定義したDockerとSAMで起動するDockerで通信ができるようにnetworksも定義します。

# docker-compose.yaml

version: '3.0'

services:
  localstack:
    image: localstack/localstack
    environment:
      - SERVICES=s3
      - DEFAULT_REGION=ap-northeast-1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - ./data/localstack:/tmp/localstack
    ports:
      - 4566:4566
    networks:
      sam-app:

networks:
  sam-app:
    name: sam-app
    driver: bridge

OpenAPI定義

openapi.yamlにAPIの定義をしていきます。

openapi: 3.0.0
info:
  title: OpenAPI sam-app
  description: sam-appのAPI
  version: 1.0.0

paths:
  /images:
      post:
        summary: 画像アップロードAPI
        description: 画像をS3にアップロードする
        requestBody:
          required: true
          content:
            multipart/form-data:
              schema:
                type: object
                properties:
                  file:
                    description: 画像のバイナリ
                    type: string
                    format: binary
                required:
                  - file
        responses:
          '200':
            description: S3の画像のファイル名を返却
            content:
              application/json:
                schema:
                  $ref: '#/components/schemas/UploadImageResponse'
                example:
                  url: [ 'example1.jpg', 'example2.jpg' ]
        x-amazon-apigateway-integration:
          credentials:
            Fn::Sub: ${ApiRole.Arn}
          uri:
            Fn::Sub: arn:aws:apigateway:${AWS::Region}:lambda:path/2015-03-31/functions/${UploadImageFunction.Arn}/invocations
          passthroughBehavior: when_no_templates
          httpMethod: POST
          type: aws_proxy

components:
  schemas:
    UploadImageResponse:
      description: 画像アップロードAPIレスポンス
      type: object
      properties:
        file_names:
          type: array
          description: S3の画像バイナリのファイル名の配列
          items:
            type: string
          example: [ 'example1.jpg', 'example2.jpg' ]
      required:
        - file_names

次にopenapi.yamlからGolangのコードを自動生成するためにMakefileを定義します。

# Makefile

DIR := $(shell pwd)

.PHONY: generate_server

generate_server:
  mkdir ${DIR}/Server
  docker run --rm \
  -v ${DIR}:/local \
  -e JAVA_OPTS="-Dlog.level=warn" \
  openapitools/openapi-generator-cli:v5.0.1 generate \
      -i /local/openapi.yaml \
      -g go \
      -o /local/Server

これでGolangのコードが生成できるようになりました!今回は生成されたファイルの内、model_upload_image_response.goを使用していきます。こちらにはOpenAPIで定義したレスポンスの構造体とその構造体に関連する関数が定義されています。また、生成されたモジュールを使用するためのコードをgo.modに追加します。詳細はこちらをご覧ください。

// model_upload_image_response.go

 *
 * API version: 1.0.0
 */

// Code generated by OpenAPI Generator (https://openapi-generator.tech); DO NOT EDIT.

package openapi

import (
    "encoding/json"
)

// UploadImageResponse 画像アップロードAPIレスポンス
type UploadImageResponse struct {
    // S3の画像バイナリのファイル名の配列
    FileNames []string `json:"file_names"`
}

// NewUploadImageResponse instantiates a new UploadImageResponse object
// This constructor will assign default values to properties that have it defined,
// and makes sure properties required by API are set, but the set of arguments
// will change when the set of required properties is changed
func NewUploadImageResponse(fileNames []string, ) *UploadImageResponse {
    this := UploadImageResponse{}
    this.FileNames = fileNames
    return &this
}

// 省略
// go.mod

module sam-app

go 1.16

require (
    github.com/aws/aws-lambda-go v1.23.0
    sam-app/openapi v1.0.0 // 追加
)

replace sam-app/openapi v1.0.0 => ./document/Server // 追加

S3へのアップロード実装

次に実際にS3にアップロードする部分の処理を書いていきます。s3へのアップロードする処理は、パッケージとして切り出して定義して汎用的にします。 (今回はs3へのアップロードの処理にフォーカスするのでエラーハンドリングはpanicで処理してます)

s3.go

package s3

import (
    "context"
    "io"
    "os"

    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/config"
    "github.com/aws/aws-sdk-go-v2/service/s3"
)

var (
    client *s3.Client
)

type S3ObjectAPI interface {
    PutObject(
        ctx context.Context,
        params *s3.PutObjectInput,
        optFns ...func(*s3.Options),
    ) (*s3.PutObjectOutput, error)
}

func PutFile(c context.Context, api S3ObjectAPI, input *s3.PutObjectInput) (*s3.PutObjectOutput, error) {
    return api.PutObject(c, input)
}

func init() {

    customResolver := aws.EndpointResolverFunc(func(service, region string) (aws.Endpoint, error) {
        if os.Getenv("AWS_SAM_LOCAL") == "true" {
            return aws.Endpoint{
                PartitionID:   "aws",
                URL:           "http://localstack:4566",
                SigningRegion: "ap-northeast-1",
            }, nil
        }
        return aws.Endpoint{}, &aws.EndpointNotFoundError{}
    })

    cfg, err := config.LoadDefaultConfig(context.TODO(), config.WithEndpointResolver(customResolver))
    if err != nil {
        panic(err)
    }

    client = s3.NewFromConfig(cfg, func(o *s3.Options) {
        o.UsePathStyle = true
    })
}

func Put(bucket string, filename string, file io.Reader) error {
    input := &s3.PutObjectInput{
        Bucket: aws.String(bucket),
        Key:    aws.String(filename),
        Body:   file,
    }

    _, err := PutFile(context.TODO(), client, input)
    if err != nil {
        return err
    }

    return nil
}

ポイントとしては下記の2点です。

  • 環境によってアップロード先のS3を変更

SAMではAWS_SAM_LOCALという環境変数でローカル環境かどうかを判断できます。ローカル環境の場合はエンドポイントにlocalstackを指定してます。前述しましたがSAMとlocalstackはDocker間通信になるのでlocalhostではなくdocker-compose.ymalで定義したサービス名のlocalhostを指定しています。

  • pathStyleを指定

デフォルトのs3.Clientでは仮想ホスト形式を使用してるのですが、これだとs3アップロード時にエラーが出てしまうのでパス形式を使用するようにClient生成時のオプションで指定しています。

今回はS3のPutObjectの実装のみですが、他の関数については公式のExamplesがとても参考になるのでそちらをご覧ください。

main.go

s3へのアップロード部分の実装が完了したので次に、APIのリクエストから画像を取得してアップロードする部分の処理を実装していきます。

package main

import (
    "bytes"
    "encoding/base64"
    "mime"
    "mime/multipart"
    "net/http"
    "sam-app/openapi"
    "sam-app/pkg/s3"

    "github.com/aws/aws-lambda-go/events"
    "github.com/aws/aws-lambda-go/lambda"
)

// APIGatewayProxyRequestのHeaderをhttpモジュールのHeaderに変換
func convertToHttpHeader(rh map[string][]string) http.Header {
    headers := http.Header{}
    for h, values := range rh {
        for _, v := range values {
            headers.Add(h, v)
        }
    }
    return headers
}

func handler(request events.APIGatewayProxyRequest) (events.APIGatewayProxyResponse, error) {

    var (
        headers   = convertToHttpHeader(request.MultiValueHeaders)
        fileNames = []string{}
    )

    _, params, err := mime.ParseMediaType(headers.Get("Content-Type"))
    if err != nil {
        panic(err)
    }
    // リクエストボディをbase64でデコード
    recBody, err := base64.StdEncoding.DecodeString(request.Body)
    if err != nil {
        panic(err)
    }

    // multipart/form-dataをパース
    boundary := params["boundary"]
    r := bytes.NewReader(recBody)
    mr := multipart.NewReader(r, boundary)
    form, err := mr.ReadForm(2 * 1_000_000) // 2MB
    if err != nil {
        panic(err)
    }

    // 送られてきた画像のループ処理
    for _, fh := range form.File["file"] {
        fileName := fh.Filename
        fileNames = append(fileNames, fileName)
        f, err := fh.Open()
        if err != nil {
            panic(err)
        }

        // S3にアップロード
        if err := s3.Put("sam-app-images", fileName, f); err != nil {
            panic(err)
        }
        f.Close()
    }

    resBody := openapi.UploadImageResponse{FileNames: fileNames}
    jsonBody, err := resBody.MarshalJSON()
    if err != nil {
        panic(err)
    }

    return events.APIGatewayProxyResponse{
        Body:       string(jsonBody),
        StatusCode: 200,
    }, nil
}

func main() {
    lambda.Start(handler)
}

ポイントは3点です。

  • リクエストヘッダー

公式のIssueにもあるようにAPIGatewayProxyRequestのHeaderはcase sensitiveであり、ローカルと本番環境ではHeaderの値を取得する際に指定する文字列が変わってしまうので、case insensitiveなnet/httpのHeaderに変換してます。

  • リクエストボディのデコード

リクエストボディはAPIGatewayProxyRequest.Bodyから取得できるのですが、この値がString型なのでmultipart/form-dataはbase64でエンコードされて格納されています。なのでbase64でデコードしてファイルのデータをなどを扱えるようにします。

  • multipart/form-dataのパース

上記で説明したようにbase64でデコードしたmultipart/form-dataを扱うために、mimeを使用してGoの構造体にパースします。パースした構造体からファイル名や実際の画像を取得して先ほど定義したS3へアップロードする関数を呼び出して画像をアップロードします。

動作確認

ここまでの実装が完了したら動作確認をしていきます!

ローカル環境

コンテナを起動後、下記コマンドでlocalstackにバケットを作成します。

$ docker-compose up -d
$ aws s3 mb s3://sam-app-images --endpoint-url http://localhost:4566

下記コマンドでローカルのサーバーを立てます。localstackのDockerにアクセスできるようにネットワークをオプションで指定します。

$ sam build
$ sam local start-api --docker-network sam-app

Mounting UploadImageFunction at http://127.0.0.1:3000/images [POST]
You can now browse to the above endpoints to invoke your functions. You do not need to restart/reload SAM CLI while working on your functions, changes will be reflected instantly/automatically. You only need to restart SAM CLI if you update your AWS SAM template
2021-06-27 14:03:19  * Running on http://127.0.0.1:3000/ (Press CTRL+C to quit)

上記のコマンドで出力されたエンドポイントに向けてcurlを叩きます。

$ curl --request POST \
  --url http://127.0.0.1:3000/images \
  --form file=@example.jpg 

{"file_names":["example.jpg"]}

localstackのS3にアップロードされているのが確認できたらOKです!

$ aws s3 ls s3://sam-app-images --endpoint-url=http://localhost:4566

2021-06-27 14:29:28       6306 example.jpg

デプロイ

ローカルでの動作確認が取れたらデプロイして確認します。下記コマンドで対話形式でパラーメーターを入力していきます。

$ sam deploy --capabilities CAPABILITY_NAMED_IAM --guided

作成したAPIのエンドポイントを叩いてS3に画像がアップロードされていれば全て完了です!

まとめ

今回はAWS SDK for Go v2を使ってS3に画像をアップロードしました。リリースされてまもないので出回ってる情報が少なかったのですが、公式がとても参考になりました! またOpenAPIからGoのコードを自動生成することにより、独自で定義するコードが減るので開発効率も上がると思います!

最後に、BuySell Technologiesではエンジニアを募集しております!

気になる方は是非お問い合わせください!

herp.careers