初期設定
メモ帳を起動し、フォーカスした状態で、AMOSのノブを押しながらPCと接続する。
iWit USB Controller V4.01
http+//iWit.me
Sort Press ) <1 Second To Enter Windows Mode
Long Press ) >1 Second To Enter Mac Mode
Enter Setup Mode
カスタマイズ
実行スクリプト
PS C:\Users\mars> docker run -d -p 3000:8080 –e RAG_EMBEDDING_ENGINE=ollama -e RAG_EMBEDDING_MODEL=bge-m3:latest –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui-rag –restart always ghcr.io/open-webui/open-webui:main
PS C:\Users\mars>docker run -d -p 3000:8080 -e RAG_EMBEDDING_ENGINE=ollama -e RAG_EMBEDDING_MODEL=bge-m3:latest –gpus all –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:cuda
埋め込みモデル設定
セマンティックベクトルエンジン: Ollama モデル名: bge-m3:latest チャンクサイズ: 1500 チャンクオーバーラップ: 100
openwab-uiの画面のchat controlパラメータで、設定をdefaultから変更した方が良い項目と内容を教えて
以下は、一般的なユースケースにおける例です：
| ユースケース | Max Tokens | Temperature | Top-p | Repetition Penalty |
|---|---|---|---|---|
| 短い正確な回答 | 100 | 0.5 | 0.8 | 1.2 |
| 長文で詳細な説明 | 300 | 0.7 | 0.9 | 1.1 |
| 創造的・自由な文章生成 | 500 | 1.0 | 1.0 | 1.0 |
Grokに問い合わせた結果
Open WebUIのRAG機能を利用する場合、重要なパラメータなどの要素と、その設定値は？
Open WebUIでRAG（Retrieval-Augmented Generation）機能を利用する際、効果的な動作を実現するためには、いくつかの重要なパラメータや設定要素を適切に調整する必要があります。以下に、主要な要素とその設定値について説明します。これらはOpen WebUIの管理者パネル（例: 「設定 > ドキュメント」や「ワークスペース > モデル」）で調整可能な項目に基づいています。
nomic-embed-text（137Mパラメータ）やmxbai-embed-large（334Mパラメータ）など、より大きなモデルを選択。bge-m3（多言語対応で高性能）。cross-encoder/ms-marco-MiniLM-L-6-v2（高速だが精度は中程度）。cross-encoder/ms-marco-MiniLM-L-12-v2（より正確だが処理負荷が増加）。gemma2:2b（軽量）、ELYZA-japanese-Llama-2-13b（日本語対応）。gpt-4o-mini（高精度だがコストがかかる）。bge-m3に変更。cross-encoder/ms-marco-MiniLM-L-12-v2を指定。gemma2:2b）を選択し、RAG用にカスタムモデルを作成。これらのパラメータを適切に設定することで、Open WebUIのRAG機能を最大限に活用し、高精度で有用な回答を得られる環境を構築できます。
100K文字程度のテキストをRAGで検索すると仮定した際に、それぞれのパラメータの最適値は？
100K文字程度のテキストをRAG（Retrieval-Augmented Generation）で検索する場合、データ量としては中規模（日本語で約50K〜100Kトークン程度と仮定）に該当します。この規模のテキストを効率的かつ高精度に処理するためには、パラメータの設定に以下の点を考慮する必要があります。以下に、前回の回答をベースに具体的な最適値を提案します。
bge-m3bge-m3は約568Mパラメータを持ち、日本語を含む多言語で優れた性能を発揮。all-MiniLM-L12-v2（軽量かつそこそこの精度）。cross-encoder/ms-marco-MiniLM-L-12-v2L-12-v2は精度と速度のバランスが良く、100K文字程度の処理に適している。MiniLM-L-6-v2。---）を挿入。gemma2:9b（9Bパラメータで高精度かつ中規模データに適応）。gpt-4o-mini（コスト効率と性能のバランス）。gemma2:9bはローカルで実行可能な高性能モデル、gpt-4o-miniはAPI利用時の最適解。bge-m3cross-encoder/ms-marco-MiniLM-L-12-v2gemma2:9b（ローカル）またはgpt-4o-mini（クラウド）L-12-v2 → Electra）。この設定なら、100K文字程度のテキストをRAGで効率的に検索し、高精度な回答を生成できるはずです。実際のデータやハードウェアに応じて微調整してください。
https://gist.github.com/derme302/a702e421b7cd133753e5ab87101a01c4
https://github.com/merbanan/rtl_433/tree/master
データの取得例
$ rtl_433 2>/dev/null
[SDR] Using device 0: Realtek, RTL2838UHIDIR, SN: 00000001, "Generic RTL2832U OEM"
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
time : 2024-11-12 21:58:45
model : Emax-W6 id : dd9
Channel : 4 Battery_OK: 1 Temperature: 59.3 F Humidity : 81 %
Wind avg speed: 0.0 km/h Wind Direction: 228 Total rainfall: 0.2 mm UV Index : 1 Lux : 0
Integrity : CHECKSUM
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
time : 2024-11-12 21:59:15
model : Emax-W6 id : dd9
Channel : 4 Battery_OK: 1 Temperature: 59.1 F Humidity : 80 %
Wind avg speed: 0.0 km/h Wind Direction: 229 Total rainfall: 0.2 mm UV Index : 1 Lux : 0
Integrity : CHECKSUM$ rtl_433 2>/dev/null | python t.py
$ cat t.py
#!/usr/bin/python
import sys
for line in sys.stdin:
#print(line.strip())
res=line.split()
if len(res) == 34:
TT=round((float(res[6])-32)/1.8,1)
HH=res[10]
WS=round(float(res[15])/3600,1)
WD=res[19]
RR=res[22]
UV=res[27]
UL=res[30]
print(TT,HH,WS,WD,RR,UV,UL)mars@pi4Bu:~/rtl_433 $ rtl_433 2>/dev/null |python t.py
18.4 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0
18.5 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0
18.4 69 0.0 229 0.2 1 0１１月３日、青空に恵まれた久々のブルーインパルスの飛行
sudo apachectl -tsudo apache2ctl configtestsudo apachectl -S # 仮想ホストの設定確認 sudo apachectl -M # 読み込まれているモジュールの確認化学賞受賞のハサビス氏は、世界最高ランクの囲碁棋士である李世乭に5試合中4試合に勝利したAlphaGoプログラムを開発したほか、機械学習のスタートアップであるDeepMindテクノロジーズを共同で立ち上げCEOを務めた。
生成AIを利用した様々なサービスが利用できる昨今ですが、Googleが今のところ無料で公開しているnotebookLMを使ってみました。（料金については、Googleによると「NotebookLM はまだ早期テスト段階であるため、現時点では料金は発生しません」となっていますが、そのうちに課金の対象になるかも？）
Google NotebookLMは、ユーザがアップロードした資料に対して、要約や質問に対する回答などを得ることができます。試しに、自分が2008年に執筆した博士論文のpdf（約100ページ）をアップロードしてみました。Google NotebookLMの興味深い機能の一つに、男女２人が、アップロードしたファイルの内容についての説明・感想を数分程度の会話を音声で聞くことができます。アップロードした資料が日本語であっても、今のところ音声は英語だけなのが残念な点ですが、再生できるようにしてみました。
Google NotebookLMが処理した結果の「要約」は、次のようになりました。Google NotebookLMの出力は、飾りのないテキストなので、多少読みやすくなるよう手動で体裁を整えました。
マルウェア自動解析システムの研究
1. マルウェアの脅威と対策
近年、マルウェアによる被害が急増しており、その種類や手法も多様化していることを説明。
従来のシグネチャベースの対策では未知のマルウェアへの対応が困難であることを指摘。
マルウェアの挙動解析に基づく自動解析システムの必要性を論述。
2. マルウェア自動解析システムの概要
本研究で提案するマルウェア自動解析システムの全体構成を図を用いて説明。
システムの主要な機能である、マルウェアの動的解析、挙動データの収集、数値化と類似性判定、そして視覚化について概説。
3. マルウェアの動的解析
サンドボックス環境を用いたマルウェアの動的解析手法について解説。
APIコール、レジストリへのアクセス、ネットワーク通信など、解析対象となるマルウェアの挙動を列挙。解析結果から得られる情報とその利点について説明。
4. 挙動データの数値化と類似性の判定
マルウェアの挙動データを数値化するための特徴量抽出方法を説明。
使用する特徴量として、APIコール系列、レジストリキー、通信先ポート番号などを例示。
数値化された挙動データに基づいて、マルウェア間の類似性を判定するためのアルゴリズムを解説。具体的には、ユークリッド距離、マンハッタン距離、コサイン類似度などの距離尺度を用いた類似度計算方法を説明。
5. 挙動データの視覚化
多次元尺度構成法 (MDS) を用いたマルウェア挙動の視覚化手法について説明。
MDS により、高次元の特徴量空間を2次元または3次元に写像することで、マルウェアの類似性を視覚的に表現。視覚化結果から、マルウェアの分類や未知マルウェアの検出が可能になることを示唆。
6. 実験と評価
実験に用いたマルウェア検体データセットの概要を説明。
検体数は約8,000個体で、トレンドマイクロ・ウィルスバスター2007を用いてスキャンし、名前が判明したものを使用。提案システムの性能評価指標として、検出率、誤検知率、処理時間を設定。実験結果に基づいて、提案システムが従来手法と比較して高い検出率と低い誤検知率を達成したことを示す。処理時間についても、実用的な範囲内であることを確認。
7. PDBを用いたマルウェア挙動の可視化
マルウェアの挙動を可視化するために、PDB (Position Dependent Bits) を導入。
PDBを用いることで、マルウェアの挙動をビット列として表現し、視覚的に比較分析することが可能になる。実際に、上位15種類のマルウェアについて、PDBへの変換結果を視覚化し、その特徴を分析。結果として、同種に分類されるマルウェアの挙動は一定ではないものの、利用ポートの状況など、種類ごとに特徴が認められることを示す。
8. 結論と今後の展望
本研究では、マルウェアの挙動解析に基づく自動解析システムを提案し、その有効性を検証。
提案システムは、未知のマルウェアに対しても高い検出率を達成し、マルウェア対策への貢献が期待される。今後の課題として、解析精度の向上、処理速度の高速化、マルウェアの進化への対応などを挙げ、さらなる研究の必要性を論述。
9. 付録
上位15種類のマルウェアのPDB可視化結果の詳細を掲載。実験対象とした検体の内訳を、AV製品ごとに「科名」と「科名＋亜種名」で分類し、検体数を表示。特徴量抽出に用いたパラメータ (port100_md50_svcN_rootN_host_file4.hex) と、それによって得られたデータセットの分割方法について説明。各分割データセットにおける、F値、F&V値、F-STD、F&V-STD、Totalなどを表形式で表示。
参考文献
本研究に関連する参考文献を列挙。