AWS

ベイズの定理を活用する!Party RockとDifyで複数のLLMを比較検証

概要 本記事では、近年注目を集めるLLMの性能を比較検証し、生成AIの活用可能性を探ります。 特に、ベイズの定理のような統計的な問題に対するLLMの回答精度に焦点を当て、実用的な側面から 考察します。 以前(今から1年半ほど前)、こちらの記事に「ChatGPTによる認知バイアスエラー回避の可能性」で、 合理的な判断を助けるために生成AIを活用しよう、ただし、生成AIは計算が苦手なようで、正しい回答を得るため には生成AIへの問合せ(プロンプト)に工夫が必要だと述べました。 一方、現時点では、 「問合せ(文)の仕方」やタイミングによって、正しい答えが得られないケースもある ことを確認できました。従って、ChatGPT利用には適切な 「問い」を投げかける事
Read more

お手軽にAWS Site-to-Site VPNを試してみよう(AWSシミュレーション環境)

はじめに 自宅環境とAWS間を、お手軽にAWS Site-to-Site VPNで接続する方法を紹介したいと思います。 仕事がら、たまに自分の環境でVPNを張り、いろいろ実験したいことが稀にあります。 しかし、常時VPNを接続するのは費用も安く無いため(「付録」参照)、実験したい時にアドホックにVPNを 構築したいわけです。そこで、筆者がVPN構築に使っている方法を、(自身の備忘録も兼ねて) 紹介したいと思います。 コンテンツ 前編は、純粋にAWS環境だけでVPNをシミュレートする方式で、後編で自宅とAWSをVPNルータ を用いる方法を説明します。 お手軽にAWS Site-to-Site VPNを試してみよう(AWSシミュレーション環境) ←本編 お手軽にAWS Site-to-Site VPNを試してみよう(自宅VPN環境) N
Read more

お手軽にAWS Site-to-Site VPNを試してみよう(自宅VPN環境)

はじめに 前編で構築したVPN環境に、自宅VPNルータを追加してみようと思います。 お手軽にAWS Site-to-Site VPNを試してみよう(AWSシミュレーション環境) お手軽にAWS Site-to-Site VPNを試してみよう(自宅VPN環境) ←本編 筆者の環境では、VPNルータとしてTP-Link Omada ギガビット マルチWAN VPNルーター ER605 を使っています(こちらは2022年6月12日に8,800円で購入しました)。 自宅VPN環境 構築 基本的に、こちらの記事に従って構築させていただきました。 8800円の格安VPNルータで家とAWS間をサイト間VPN(IPSec)で接続する ※「VPN接続」「Transit GW」周りが少しだけ異なりますので、適宜確認お願いします。 UTM - ER605間接続 Link U
Read more

AWS Cost Usage Reportの可視化(3) -生成AI SQL (Cube + LangChain)

はじめに 「AWS Cost Usage Reportの可視化(2) -ヘッドレスBIツールCubeを試してみる」の続編になります。 今年のre:Invent(2023)も盛り沢山!まだまだ全体は把握できておりませんが、やはり、生成系AIのトピックが多かった印象です。 その中で、私は「Amazon Q generative SQL in Amazon Redshift」が目にとまりました。 「AWS Black Belt Online Seminar re:Invent 2023アップデート速報」(スライド#40) 下記ツイートは、(1年ほど前)ChatGPTを使い始めた頃のものです。当時は、本番サービスとして提供されるとは夢にも思いませんでした! このサービスは、ユーザが自然言語で問合せると推奨SQLクエリを生成してくれるというものですが、似たようなシステムのDIY可能で
Read more

AWS Cost Usage Reportの可視化(2) -ヘッドレスBIツールCubeを試してみる

はじめに 「AWS Cost Usage Reportの可視化」の続編になります。 前回記事では、AWS費用のレポートがS3に定期的に溜め、S3データをSQLで検索できるマネージドサービスAthenaを構築し、AthenaをデータソースとしてGrafanaやRedashといったBIツールで可視化基盤を構築しました。 その後も、Apache Supersetや各種NotebooksといったBIツールで可視化していたものの、今度はReactやVueといった フロントエンド開発を通し、カスタムダッシュボートを開発・構築したい、という思いに至りました。 そこで目にしたのが、記事の副表題にもあるヘッドレスBIツールCube CoreというOSSになります。 このOSSですが、C
Read more

AWS Cost Usage Reportの可視化

はじめに 本記事では、ローカルPC上でGrafana、Redashの可視化ツールを起動させ、AWSの費用レポートを データソースに可視化(接続)する手順を確認します。 近年益々「オブザーバビリティ(Observability)」や「ビジネスインテリジェンス(BI)」といったデータ可視化が重要になっています。そのような中、データ活用の入口として、OSSに代表されるような多様な可視化ツールの味見やデモに 対するニーズも増えてきている気がします。 Observability系: Nagios、Graphite、Grafana(Prometheus)、Kibana(ELK)、OpenTelemetry、OpenCensus、Jaeger etc. BI系: Red
Read more

AWS FAN!

はじめに 明けましておめでとうございます。2023年もスタートし、一発目の記事になります。私は普段、AWSを中心としたクラウド活用のソリューション設計を専門に仕事している一方、個人としてもAWSユーザとして、様々なクラウドサービスを楽しませていただいています。 本格的に触り始めたのは2018年頃からとだいぶ遅いスタートではありますが、少し振り返ってみようと思います。 ※本コンテンツは2022年の年末、とあるAWSコミュニティーの「お祭りイベント」で公演させて頂いたものになります。 スマートホーム(2018年〜2019年頃) 会社の小集団活動も活用し、趣味のラズパイやArduinoといったマイコンいじりであれこれプロトタイピングを楽しんでいまし
Read more

AWSホワイトペーパを題材にFMEAを見る

この記事は、Japan APN Ambassador Advent Calendar 2022の9日目のエントリになります。 はじめに 2022年10月に「金融リファレンスアーキテクチャ 日本版」も一般公開され、ミッションクリティカルなシステムへのクラウド活用が加速していくと思われます。 そのような潮流のなか、システムの信頼性(安全性)に対し、従来製造業を中心に活用されている「FMEA(Failure Mode and Effects Analysis)」(故障モード・影響解析)が、ソフトウェア開発でも有効なアプローチではないかと思い、ここに簡単にご紹介したいと思います。 サマリ AWSホワイトペーパ「AWSでのミッションクリティカルな金融サービスアプリケーションの構築」から、FMEAサンプル2件(アプリ分析、インフラ分析)を確
Read more

踏台VPCの作成(Internet Gateway有り)(AWS)

はじめに 前回は、VPCにInternet Gatewayを設置しない完全にプライベートな環境での、ブラウザを使うEC2操作を見ました。 しかしこのままでは、yumの更新、npmなど各種パッケージ経由でのツール導入、(インターネットにあるRESTエンドポイントを使う)AWS CLI操作などできません。 そこで今回は、インターネットへのアウトバウンド通信を許可するためにNAT GWを設置しようと思います。トラフィックを少し管理するために。Network Firewall というIPS/IDS相当のサービスを設置したいと思います。 なお、今回の検証で、Network Firewallは1,400円/日程度の費用が発生しました。(1 endpoints x 24 hours x 0.395 USD = 9.48 USD 148円/USD 換算
Read more

踏台VPCの作成(Internet Gateway無し)(AWS)

はじめに VPCにInternet GWを割当てず、プライベートサブネットにあるサーバ(EC2)を操作する方法です。Cloud9(Amazon Linux)と、Windows Server(ブラウザを使ったGUI操作)を説明します。 [参考]Systems Manager を使用してインターネットアクセスなしでプライベート EC2 インスタンスを管理できるように、VPC エンドポイントを作成するにはどうすればよいですか? 構成 基盤構築(Terraform) ネットワークなどの基盤構築には、Terraformを活用しました。コードはこちら(GitHub)からダウンロードできます。 VPCパラメータ resource "aws_vpc" "Main" { cidr_block = var.main_vpc_cidr instance_tenancy = "default" enable_dns_hostnames = true enable_dns_support = true tags = { Name = "${var.system_name}-vpc" } } Bastionサブネットパラメー
Read more