AWS
AWS Advent Calendar 2014
AWSAdvent CalendarEC2EIPTerraformVPC

AWS Advent Calendar 2014

今回の投稿内容は、AWS Advent Calendar 2014
になります。

AWS Advent Calendar 2014

今回の取り上げるテーマ

今回はEIPを取り上げます。EIPを付ける際はどうされてますか?
私は先ほど仕事で10個EC2インスタンスにEIPをつけようとしました。
yumによるインストールするによりリポジトリと通信を行うためです。
Managment Consoleでの選択してEIPを設定するのは正直手間がかかりました。

Managment Consoleでの作業

VPC_Management_Console.png

発行されたEIPで接続するために、sshのconfigを作成したり
EC2へのインストール作業後にEIPを外す作業もなかなか手間がかかるものです。

Terraformによるeipのオーケストレーション

最近Terraformを覚えたので、もしかしたらそちらでできるのではないかと思いつきました。
すると調べたところ、作業が簡単になる見込みがありました。
HashicoprのTerraformにより、一斉設定を行います。

Terraformファイルの準備

[01:41:52][f_prg@mba:eip]# cat eip.tf
provider "aws" {
    access_key = "XXXXXXXXXXXXXXXXXXXX"
    secret_key = "YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY"
    region = "ap-northeast-1"
}

resource "aws_eip" "hoge" {
    instance = "i-AAAAAAAAA"
    vpc = true
}

resource “aws_eip”
の4行を複数記述すれば、複数のインスタンスに実行ができるようになります。

Terraformの実行

[01:41:53][f_prg@mba:eip]# terraform plan
Refreshing Terraform state prior to plan...


The Terraform execution plan has been generated and is shown below.
Resources are shown in alphabetical order for quick scanning. Green resources
will be created (or destroyed and then created if an existing resource
exists), yellow resources are being changed in-place, and red resources
will be destroyed.

Note: You didn't specify an "-out" parameter to save this plan, so when
"apply" is called, Terraform can't guarantee this is what will execute.

+ aws_eip.hoge
    allocation_id:  "" => "<computed>"
    association_id: "" => "<computed>"
    domain:         "" => "<computed>"
    instance:       "" => "i-AAAAAAAAA"
    private_ip:     "" => "<computed>"
    public_ip:      "" => "<computed>"
    vpc:            "" => "1"


[01:41:58][f_prg@mba:eip]# terraform apply
aws_eip.hoge: Creating...
  allocation_id:  "" => "<computed>"
  association_id: "" => "<computed>"
  domain:         "" => "<computed>"
  instance:       "" => "i-AAAAAAAAA"
  private_ip:     "" => "<computed>"
  public_ip:      "" => "<computed>"
  vpc:            "" => "1"
aws_eip.hoge: Creation complete

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

The state of your infrastructure has been saved to the path
below. This state is required to modify and destroy your
infrastructure, so keep it safe. To inspect the complete state
use the `terraform show` command.

State path: terraform.tfstate

各々のインストールはchefやansibleで行います。

今回は割愛します。
EIPが付いているので、packageやyumによる
パッケージインストールができるようになります。

Terraform destroyの破棄

EIPが解放されます。

[01:48:18][f_prg@mba:eip]# terraform destroy
Do you really want to destroy?
  Terraform will delete all your managed infrastructure.
  There is no undo. Only 'yes' will be accepted to confirm.

  Enter a value: yes

aws_eip.hoge: Refreshing state... (ID: eipalloc-AAAAAAAAA)
aws_eip.hoge: Destroying...
aws_eip.hoge: Destruction complete

Apply complete! Resources: 0 added, 0 changed, 1 destroyed.

まとめ

-public ipを付与できないEC2インスタンスには有効です。
-EC2インスタンスIDを入力するのはまだ手間がかかりました。
-プライベートサブネット配下のEC2インスタンスにインストール作業するときに大変便利だなぁと思いました。
-Terraformファイルを作成する工夫でもっと簡単になるのかとも思いました。

Cloud
千葉團の勉強会に行ってまりました。#chibadan
勉強会・セミナー

千葉團の勉強会に行ってまりました。#chibadan

はじめに

こんにちは。インフラエンジニアレベル1のf_prgです。
本日は、千葉團の勉強会に行ってまいりました。
doorkeeperイベントページ
今回は、JAWS-UGの枠からは出ています。

勉強会レビュー

1.「エンタープライズこそAWSへ!」

株式会社ガリバーインターナショナル/ITチーム
月島学さんmanabu.tsukishima

-IT(クラウド)に求めるもの。
-減価償却5年。重いですねぇ。
-google apps, yammerを使っている。
-2000人のgoogle apps導入に半年!
一人一人声をかけると変わる。
-変えづらいものはいっぱいある。
-CloudTrailのログは、4ヶ月の張り付き作業がなくなった。
IAMも助かっている。
改ざんされない証跡。
CloudTrailはバケットで分けている。
分散しすぎると、N/W構成やSecurity Groupで苦しむ。

-☆ITクラウドで求めるもの☆

  • 変化できる組織、システム作り
    – レガシーなシステム
    – 「この」変化の浸透、文化形成

ITが経営を引っ張っていきたい!

2.「日本DC開設間近!今から腹に落とすSoftLayer」

日本IBM株式会社/クラウドマイスター
安田智有さん

SoftlayerはIaaS。
世界中に17カ所のデータセンター
日本にもできる予定。

  • グローバル高速ネットワークバックボーン
     上り、下り40Gbps
  • ベアメタル

マニア向け

  • インテルTXT
  • GPGPU
  • GPU
  • インフィニバンド
  • 仮想サーバ

日本語資料も揃ってきている。
http://www.gg-web.jp

3.「「Floating IP」と「Auto Healing」を組み合わせたHA実装方式について」

株式会社NTTデータ
山崎貴史さん

クラウドブローカーという業務。

AutoScalingはだいたい2つ。
 バースト対応
 自動復旧(min=1, max=1)

IPアドレスが変更になる問題。
AMIが基準なので、EC2で更新したものは失われる

FloatingIPとFloatingEBS
ENIだけでなく、EBSも付け替える。

4.「Terraform入門:AWSをコードとして扱うには?」

クリエーションライン株式会社
前佛雅人さん@zembutsu

Terraformは何を解決するのか。
クラウドに置いても、ビジネスの変化(自身とお客様)は変わらない。

インフラのコード化。

状態をコード化する。
Atlas, AWS, CloudFlare, Consul, DigitalOcean
DNSimple, Google Cloud, Heroku, Mailgun

最近のバージョンでは,AWS系のものが結構安定している。
Security Groupをやるには便利。

Softlayerも対応できるだろう!
IBMさん、お願い。

5.「すべては面白い会社にしていくために(仮)」

今年の取り組みや来年の展望などを「何故」を織り交ぜながら語ります!
ヴェルク株式会社/取締役 アーキテクト
津久井浩太郎さん@quarterkota

ヴェルクのご紹介。
京葉線についてー。熱い。
社員旅行2回!
味噌カレーバターラーメン。

新人について
適度にDNAの入れ替えのためによかった。

異業種交流。

2000万PV/月の対応。
お客様より、本来の改変に注力できるようになった。

分析関連事業の本格化
βの段階で、EMRを募集してみた。
スーパーマーケットチェーンのPOSデータなど(生肉と鮮魚に詳しい?)
某巨大法人の分析システムのBI

オフィス
ブログもみていただければー。

6.「オレの2014年全仕事」

モバゲーとマイコード、そして書籍絡みで2件
みたいなことをタラタラ振り返ります
株式会社ディー・エヌ・エー
池田尚史さん@ikeike443

2014年

上期
Mobageテックコンサル
 Mobageオープンプラットフォームの維持発展
 エヴァンジェリストのような仕事
 ドキュメント書き
 ガラケー, iOS, Android, PCもサポート
Mobageデベロッパーブログの開設

下期
遺伝子検査

スクラムマスターとして三角
CI/CD環境の構築、基盤部分の開発担当
ISMS取得
採用
devlove関西で喋って。

チーム開発実践入門の執筆。

7.「Google Cloud PlatformとBigQuery概要」

Google Cloud Platform概要
Google BigQueryによる大規模並列クエリ
Google Compute Engineの特徴
Google株式会社/ソリューションアーキテクト
佐藤一憲さん@kazunori_279

GCP(Google Cloud Platform)

専用ラックやサーバとかは用意しない。gmailと同じようなもの。
softlayerみたいに専用的なものはない。

Map Reduce(もうgoogleではあまり使われていない)
Colossus
Spanner/F1、Adwardsが動いてる。
Dremel、BigQuery。

Google Big Queryでは1個のクエリで、1000から1500で動く。
無料で1TB。

Google App Engine、コンテナ。

Google Big Query

インデックスを使わない。フルスキャン。
インデックスを作ることはできない。

1TB/month

1億行は1円、2円。
ストレージとしても安い。

Dremelのネットワークボトルネックは
google検索のたまもの

セブン&アイは、oracleのデータを送る。
google analyticsのデータも送れる。
 →adwardsが特定のユーザーに送れる。DMPに活用ができる。

fluent-plugin-bigquery

毎秒2万行のデータをbigqueryに送れる。
KPIの分析はすぐに使える。次の日にKPI分析するということがない。
google spread sheetに反映できる。

ミュージックステーション。
 リアルタイム投票

BIME.
Tableu
ClickView
Google Spread Sheet
Excel(プラグインか何かを使う)
R

KAIZEN Platform
伊藤 直也さんのスライド

データの更新はできない。
スキーマ定義は重要。
JOINも早い。

Google Compute Engine

ネットワークが違う
Andromeda
SDN
ゾーンまたぎで3G bps+
5倍早いと評価した会社がある。

インスタンスは、マルチリージョンの機能がある。
プライベートIPが貼られている。

ロードバランサーの性能がいい。
スケーラビリティの上限がない。(google検索で培っているもの)
グローバルIPは1個だけ。

一つのIPで経路違う。TCPのANYキャストDNSをやっているのはgoogleだけ。
8.8.8.8の経路が、アメリカと日本で違う。
アメリカはアメリカ。日本では台湾に行く。
TCPのコネクションがきれないようなバックエンドが存在する。

1M reqs/sec

ライブマイグレーションがある。
VMWareのVMotionの数ミリ秒。メンテナンスというものがない。
LocalSSDはI2インスタンスの倍。

LT(ライトニングトーク)

1. PRO Sheetの紹介

2. PRIMODEの紹介

Stylee

3. MY 2014 〜フリーランサーの2014年振り返り〜

佐々木きはるさん @bump_of_kiharu

ざっくりの2014年
AWSに触れたい。
Railsを触りたい。
iOSアプリを作りたい
チームで働きたい。
LTや登壇してみたい。

孤独でツイートが増える。

営業しなくても仕事が来るように。
エンジニアとのコネ。経営層のコネはもっと大事
クライアントとの信頼。
チームに属す。
フルスタックとは言わない。
納品ベース請求ではなく、時給ベース請求の方が安定する。

4. 飛び入りLT1

Sony

re:inventの振り返り
 VPCのネットワーク
 ゲームアプリ開発者の運用の削減
 Elastic Beanstalkの何ミリ秒の戦い。(ThinkNear)
 Netflixの障害対策。
  Chaos Monkey
  Chaos Golira
  Chaos Kong

5. 飛び入りLT2

プログラミングのレシピサイトを作った。
宮原さん

まとめ

補足、おまけ

参考資料・リンク

AWS
JAWS-UG Advent Calendar 2014 8Days
AWSAdvent CalendarJAWS-UG

今回の投稿内容は、
JAWS-UG Advent Calendar 2014
の8日目になります。

早いもので去年の記事より1年近くになりました。
JAWS-UGに関わってからの今まで、そしてこれから
読み返したら、とても懐かしかったです。

今年は
3月に脱藩し、
5月に退職し、
6月よりcloudpack(正確には、アイレット株式会社cloudpack事業部)に入社し
現在インフラエンジニアとして働いております。

当然ながらAWSをはじめ、ルータもPCIDSSなどいろいろ触れました。
よく忙しいと聞かれますが、まあそれなりに忙しい感じです。
この前AWSソリューションアーキテクト- アソシエイトレベル
の資格も取れました。

イベント関連では
3月にJAWSDAYS 2014
7月にJAWS-UG 三都物語 2014
9月にJAWS FESTA 2014
この1年もどっぷりとAWSでした。

JAWS FESTA 2014で、JAWS-UGで初のパイ投げをいただいたことは
楽しかった思い出です。

人生というのは、本当に変わるものなんだと実感しております。
人生の中の仕事というもののターニングポイントになったと思っております。

転職の際にお世話になった方々に
コミュニティに迎えていただいた方々に
感謝を申し上げます。
そしてこれからも宜しくお願いします。

最後に、JAWS-UG 三都物語 2014の
次の日のJAWS-UG 新世界を述べさせていただきます。
本当は行く予定はなかったのですが、
誘っていただいたことに本当に感謝を申し上げます。
一生忘れない、忘れてはいけない大切なものをいただきました。
ありがとうございました。