designetwork

ネットワークを軸としたIT技術メモ

プラットフォーム

Concourse image fetch failed - 誤キャッシュ (e3b0...) の対応方法

Concourseでキャッシュ状態が崩れ、指定したDocker Imageを取得できなくなる事象が発生した。 起因としてはプライベートDocker Registryとして使用しているSonatype Nexusの停止・リストアで、一時的にリソースが存在しなくなった時点の状態をキャッシュして…

Oracle Enterprise Managerのユーザー認証にOpenLDAPを使用する

OracleドキュメントではLDAPオプションとして Oracle Internet Directory Microsoft Active Directory が記載されている。 https://docs.oracle.com/cd/F45244_01/emsec/security-features.html#GUID-8FF7D1AE-2BF8-4359-818C-E323AEF818B5 Oracle Internet …

Sonatype Nexusデータ誤削除の復元方法

Sonatype Nexus Repositoryで誤ってデータを削除してしまった際の復元方法。なお、本手順で復元できるのはWebUI等からの削除(論理削除, Soft-Delete)の場合のみ。 ※バージョンにより復旧手順が異なる場合があります。本作業によるデータロストの責任は負い…

CF gorouterアクセスログからElastic APMトレースデータ生成 (Nginxなどにも応用可能)

Cloud Foundry, VMware Tanzu Application Service の gorouter ( https://github.com/cloudfoundry/gorouter ) では、分散トレースのB3・W3C TraceContextヘッダをサポートしているが、トレースデータを外部送信する機能はない。 Elastic APMで分散トレーシ…

Concourse on Docker/Kubernetes環境でのゾンビプロセス対応 (resource temporarily unavailable, [garden-init] <defunct>)

Kubernetes環境でConcourseを稼働させていたら、 resource temporarily unavailable のエラーでtaskを実行できなくなった。 {"timestamp":"xxx","level":"error","source":"guardian","message":"guardian.api.garden-server.run.failed","data":{"error":"r…

DMARCレポートを分析・監視する (無料枠・個人利用 - PowerDMARC, EasyDMARC)

独自のメールドメインを運用する中で、昨今のEmotetの脅威を踏まえて、加害者とならないようにセキュリティの考慮が重要になる。SPF (Sender Policy Framework), DKIM (DomainKeys identified mail) などメールセキュリティの機能は各種あり、今回はDMARC (D…

Postfix on EC2で独自ドメイン宛メールをAmazon SESでGmailに転送・統合する

独自ドメインのメールアドレスを開設する際に、メールボックスは既存の自身のGmailに統合したく、EC2公開サーバにPostfixを構築してAmazon SES経由で転送できるようにした。ドメイン認証など、期待する構成とするために各種設定が必要だった。 なお、AWSでは…

Docker対応PBRで複数NICのLinuxで必ず受信IFから応答(非対称ルーティング回避)するよう設定する

運用NICを持つLinuxサーバなどでは、非対称ルーティングを回避するためにPBR(Policy-Based Routing: ポリシーベースルーティング)を設定する場合がある。Dockerコンテナ宛通信もPBR対象とするためには、単純なソースIFでのPBRだけでは制御できないため、fwma…

Helm repo indexしたパッケージ更新で既存のtimestampを書き換えないようにする

helm repo index .してGitHub Pagesで公開している自作Helmチャートの更新運用時に、既存パッケージ(旧バージョン)のタイムスタンプが更新されてしまう事象が発生したので対処メモ。 QuickFix 単純にhelm repo index .すると既存パッケージのタイムスタンプ…

Praeco (ElastAlert GUI) を Helm で Kubernetes にインストールする (Beta)

以前より本ブログで取り上げている Praeco (ElastAlert GUI) の Helm Chart を作成した。 Praecoについてはこちら参照 designetwork.daichi703n.com Betaリリース repo 対応Elasticsearchバージョン Installation Screen Shots with BOSH まとめ - Praeco (E…

BOSH-Lite Directorの証明書一式を更新する

こちらの記事で構築したBOSH-Lite環境だが、1年が経過し生成された証明書の期限が切れた。 designetwork.daichi703n.com 監視の仕組みを作っておらず、BOSH環境が停止してしまっていたため、証明書を更新(再生成)し復旧させた。 エラー内容 証明書更新 更新…

CI/CD for CI/CDs Dockerイメージの継続的最新化 with ConcourseCI

CI/CD Advent Calendar 2019 の 7日目 qiita.com 数日前に書いた記事のQiita向け調整版です。 AWS CLI on Alpine Docker Image 自動更新ビルド with Concourse - designetwork ConcourseでのAWS関連作業用コンテナとして、AWS CLIのDocker Imageをビルドする…

AWS CLI on Alpine Docker Image 自動更新ビルド with Concourse

ConcourseでのAWS関連作業用コンテナとして、AWS CLIのDocker Imageをビルドする。ビルドにはConcourse CIを使用することで継続的に更新し続ける仕組みを作る。 最終的な成果物としてのDocker Imageはこちら daichi703n/awscli 後から再調査したところ、こち…

MySQL(RDS, Aurora)のSSL証明書有効期限を確認する

Amazon AWS RDSのCA証明書が更新されることを受けて、MySQLのSSL証明書の有効期限の確認方法を検証した。 動作確認は以下のインスタンスで実施した。 Amazon RDS (MariaDB, 10.1.31) Amazon Aurora (Aurora MySQL, 5.7.mysql_aurora.2.04.3) opensslコマンド…

Pivotal.IO 2019 登壇しました 「決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム」

Pivotal.IO 2019に登壇させていただきました。 pivotal.omniattend.com 資料をアップロードしましたのでご参照ください。 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム 決済システム内製化に向けたプラ…

iptablesのNATコネクション状態を確認する(AWS NATインスタンスなど)

AWS NATインスタンスなど、LinuxでiptablesによりNATマシンを作成することがある。 ルータ、FWなどのNW機器の操作経験があるネットワークエンジニアであれば、コネクション状態を確認したいケースが多いと思う。 netstat-natコマンドを使用してshow xlateの…

Kibanaが参照するElasticsearchを冗長化する(v6.6.0-)

Kibana 6.6.0 から標準で参照するElasticsearchを複数設定できるようになった。設定方法と動作を確認する。 Release Note Kibana->Elasticsearch冗長化方式 設定項目 設定と動作確認 Kibana, Elasticsearch状態 Kibana自体の冗長化 BOSH環境へのデプロイ ま…

JMeter Dashboard Report グラフの粒度を変更する

Apache JMeterはWebシステム等のシナリオ試験、性能試験、負荷試験等で広く使用されている。テスト結果からレポート・ダッシュボードを生成することもでき、結果報告書等にも利用できる。 標準で出力されるグラフは1分単位で詳細が把握できないため、グラフ…

Tornado for Apache JMeterでBOSH環境で負荷試験する

パフォーマンス測定・負荷テストツールのApache JMeterをBOSHを用いて構築し、テストを実施する。Apache JMeter自体は通常のアプリケーションなので、Windows, Mac, Linux等にインストールして実行することができる。また、複数台で並列実行することで高負荷…

TurbulenceでBOSH環境にカオスエンジニアリングを導入する

Cloud Foundry Advent Calender 2018 の24日目 先進的な企業・サービスで導入されているカオスエンジニアリングを実施してみる。Cloud FoundryやKubernetesなど、BOSHで構築された環境であれば、本記事の方式で比較的簡単に導入できる。 なお、本記事では、B…

BOSH-Lite in VirtualBoxでブリッジアダプターを使用しリモート接続する

Cloud Foundry Advent Calender 2018 の23日目 BOSH-LiteをVirtualBoxでローカル環境に構築する手順は各所で説明されている。その場合、BOSHオフィシャルにも記載されている通りホストOSから各種操作をすることが基本となっている。ただ、メインのPCでBOSH-L…

Docker-ComposeでMACVLAN (802.1Q VLAN Tag) ネットワークを作成する

こちらの記事でDockerコンテナを外部ネットワークと802.1Q VLAN Tag接続した。 designetwork.hatenablog.com 今回はDocker-Composeファイルで定義して運用しやすくする。さらに作り込めば、ネットワークテスト自動化が実現できると考えている。 参考情報 Doc…

Dockerコンテナを外部ネットワークとVLAN Tag接続する

ネットワークの疎通確認・経路確認などのテストにDockerコンテナを活用する方式を検討している。テストの際に大量のPCを用意するのは非効率なため、軽量・スピーディなDockerコンテナを活用していきたい。 イメージしている構成は以下の通り。802.1Q VLANタ…

Proxy環境での設定誤りでGem, Bundleインストールが失敗するケース

Proxy環境でのパッケージインストールは環境変数などでProxyサーバの指定が必要となる。Gem, Bundlerにおいても同様、http_proxyの環境変数の設定が必要となる。 環境構築の中で、誤設定によりProxyが期待通りに動作しないケースがあったため、設定内容によ…

OpenStackにBOSH環境を構築する

基本的にこちらに記載の通りの手順でOpenStackにBOSHをインストールする。 https://bosh.io/docs/init-openstack.html なお、OpenStackのホストとして使用しているCentOS等でも作業可能だが、PackStackを使用した私の環境ではOpenSSLの依存関係の問題でうま…

(Queens)PackStackで実用的なOpenStackスタンドアロン検証環境を構築する

OpenStack Queensがリリースされたのでインストールから初期使用までを検証する。 OpenStack環境を簡単に構築できるPackStackで、少しのカスタマイズを加えて実用的なOpenStack検証環境を構築する。 OpenStackバージョン: Queens (Version: 13.0.0) ※あくま…

OpenStack外部ネットワーク構成のときにSSHキーペアがインポートされない

検証用OpenStackを構築して、CirrOSをデプロイしたときに、SSHキーペアがインポートされず、インスタンスにSSH公開鍵方式によるログインができない事象が発生した。OSはCirrOSもDebianでも同様。 発生事象 起動したインスタンスに設定したSSHキーペアの秘密…

(Pike)PackStackで実用的なOpenStackスタンドアロン検証環境を構築する

OpenStack環境を簡単に構築できるPackStackで、少しのカスタマイズを加えて実用的なOpenStack検証環境を構築する。 OpenStackバージョン: Pike (Version: 12.0.2) ※あくまで検証環境ですので、セキュリティ、可用性、拡張性、マルチテナント等には課題が残り…

Herokuのアクセスログを自前のFluentdで収集する

Herokuでは各種サービス (Add-ons) が組み込まれており、ログ収集関連も豊富に揃っている。Treasure Data のサービスも提供されているが、Hadoopでの解析までを含めたクラウドサービスのため有償で、$5,000/monthと、個人で気軽には使用できない。 これらはT…

ESXiマウントDell PERC RAID1を高速化する(HDDキャッシュ有効化)

PowerEdge T110 Ⅱ PERC H200A でRAIDディスクの速度が遅いため調査したところ、PERC 200 RAIDコントローラはキャッシュを持っておらず、パフォーマンスが悪いという問題が発覚した。 communities.vmware.com [PERC] キャッシュのないRAIDコントローラのパフ…